如何利用MATLAB并行计算缩短程序运行时间

摘要:
初始化Matlab并行计算环境时,原始Matlab进程将自动成为主节点,同时初始化多个Matlab计算子节点。26、初始化Matlab并行计算环境这里描述的方法仅适用于多核机器上的并行计算。下图摘自《Matlab并行计算工具箱用户手册》。此列表告诉您Matlab如何处理Parfor并行计算程序段中的各种变量。通过观察Windows任务管理器,您可以发现有五个MATLAB。exe进程。

本来CPU就是双核,不过以前一直注重算法,没注意并行计算的问题。今天为了在8核的dell服务器上跑程序才专门看了一下。本身写的程序就很容易实现并行化,因为beamline之间并没有考虑相互作用。等于可以拆成n个线程并行,要是有550核的话,估计1ms就算完了。。。

先转下网上找到的资料。

一、Matlab并行计算原理梗概

Matlab的并行计算实质还是主从结构的分布式计算。当你初始化Matlab并行计算环境时,你最初的Matlab进程自动成为主节点,同时初始化多个(具体个数手动设定,详见下文)Matlab计算子节点。Parfor的作用就是让这些子节点同时运行Parfor语句段中的代码。Parfor运行之初,主节点会将Parfor循环程序之外变量传递给计算子节点。子节点运算过程时互不干扰,运算完毕,则应该有相应代码将各子节点得到的结果组合到同一个数组变量中,并返回到Matlab主节点。当然,最终计算完毕应该手动关闭计算子节点。

二十六、初始化Matlab并行计算环境

这里讲述的方法仅针对多核机器做并行计算的情况。设机器的CPU核心数量是CoreNum双核机器的CoreNum2,依次类推。CoreNum以不等于核心数量,但是如果CoreNum于核心数量则核心利用率没有最大化,如果CoreNum于核心数量则效率反而可能下降。因此单核机器就不要折腾并行计算了,否则速度还更慢。下面一段代码初始化Matlab并行计算环境:

%Initialize Matlab Parallel Computing Enviornment by Xaero | Macro2.cn

CoreNum=2; %设定机器CPU核心数量,我的机器是双核,所以CoreNum=2

if matlabpool('size')<=0 %判断并行计算环境是否已然启动

matlabpool('open','local',CoreNum); %若尚未启动,则启动并行环境

else

disp('Already initialized'); %说明并行环境已经启动。

end

运行成功后会出现如下语句:

Starting matlabpool using the 'local' configuration ... connected to 2 labs.

如果运行出错,按照下面的办法检测:

首先运行:

matlabpool size

如果出错,说明你没有安装Matlab并行工具箱。确认安装了此工具箱后,运行:

matlabpool open local 2;

如果出错,证明你的机器在开启并行计算时设置有问题。请联系MathWorks的售后服务。

二十七、终止Matlab并行计算环境

用上述语句启动Matlab并行计算环境的话,在你的内存里面有CoreNumMatlab进程存在,每个占用内存都在百兆以上。(可以用Windows任务管理器查看),故完成运行计算后可以将其关闭。关闭的命令很简单:

matlabpool close

二十八、MatlabMonte Carlo并行的算法

Matlab并行计算比较特别。下图节选自Matlab并行计算工具箱用户手册。这个列表告诉你Matlab如何处理Parfor并行计算程序段中的各种变量。所以写代码时要注意不少问题,否则写出的并行代码可能还不如非并行的代码快。

MATLAB并行计算 - CD_Keanu - 智慧人生

这里我推荐大家用MatlabMonte Carlo并行代码时按照以下注意事项来写:

1.将Monte Carlo模拟过程中不会改变的参数都写在Parfor循环块外面

2.生成随机数、计算f(x)等过程都写在Parfor里面

3.不要将V0结果传递出Parfor,而是直接计算出V0的均值、方差传递出parfor

4.最后用数学公式将传递出ParforV0的均值方差组合计算成最终结果

这些事项如何体现到程序中请参照示例代码文件并结合视频教程学习。这样的并行办法简单易行,对原始程序没有太大的改动,同时传递变量耗费时间也较少,效率比较高。

另外一个问题就是并行代码做模拟的次数问题。我们要达到用非并行的代码做N此模拟所能得到结果的精确程度,在核心为CoreNum并行代码中,Parfor语句段中只要做N/CoreNum次即可达到。

二十九、将例子改写为并行代码

附件中的pareg1.m,……,pareg5.m五个文件分别是前一章五个例子的并行代码。这里需要提到的是,这五个代码文件都是用向量化的代码编写。原因在于,在前一章大家都看到了,向量化的代码比循环语句代码一般快几十甚至上千倍,所以要提高速度,向量化代码是最重要的优化方法,并行计算倒是其次。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

由于要搜索多核运行,找到这个帖子里来了

刚才试了一下,我使用的MATLAB2010可以多核运行的。需要多核多线程跑的算法,在之前要让matlab在本地建立4个“实验室”(我的机器是4核,所以是4个)
>> matlabpool local 4
Starting matlabpool using the 'local' configuration ... connected to 4 labs.
显示正在进行多核配置,一会说,连接到4个“实验室”。我理解就是在本地虚拟出4台可以运行matlab的工作站,这样用分布式计算工具箱可以进行并行计算(matlabpool这个命令好像是在并行计算工具箱里的)。观察windows任务管理器,可以发现一共有5个MATLAB.exe进程。其中一个占内存较多的,我理解是主控的,他基本不干活,只负责分配,进行计算时他的cpu占用率只有1~2%,剩下四个进程专门用来计算的,跑起来各占cpu 25%左右。看上去还是每个matlab进程单核运算,但是一下开4个进程,所以能把cpu用满。
如果后续还需要多核运算,就直接用parfor好了,不用每次都用matlabpool命令。那个配置一次就好。
算完了,不再跑了,临退出时关闭配置就行。
>> matlabpool close
Sending a stop signal to all the labs ... stopped.

下面是我一个M文件的程序,测测4核并行计算和单核计算的差距,很简单。
function testtime

runtimes = 1e9;
dummy1   = 0;
dummy2   = 0;

%matlabpool local 4

tic
%for x= 1:runtimes;
parfor x= 1:runtimes;
    dummy1 = dummy1 + x;
    dummy2 = 2 * x + 1;
end
toc

plot([1 2], [dummy1, dummy2]);

第一次用普通for语句,单核跑,6.09秒
>> testtime
Elapsed time is 6.094267 seconds.

第二次用parfor语句,4核跑,1.63秒
>> matlabpool local 4
Starting matlabpool using the 'local' configuration ... connected to 4 labs.
>> testtime
Elapsed time is 1.631350 seconds.
>> matlabpool close

加速比 6.09 / 1.63 = 3.736,将近4倍(还有开销吧),还比较可观。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 
然后说一下要注意的几个问题:
1、parfor效果好,但是用起来要注意程序的细节。很多地方都会报错。比如下标必须为连续的整数!否则会报下面这个错误“The variable xxx in a parfor cannot be classified.”具体可以看parfor帮助文件里面的sliced variables这一节,帮助建议仔细全部看过最好。
2、用了parfor之后,输出参数用nargout确定,会出错。不知道为什么。
3、变量在parfor内外的传进传出要非常小心,因为并行的关系,依赖循环下标的变量都要仔细考虑。
 
在我的程序里面,用profile监测,
不用并行计算的时候,CPU时间为 84.742 S,
用了并行计算的时候,CPU时间为 15.231 S
加速比达到了5.6!!!!!!
 
Oh my lady gaga!!!!!!
 
双核E6400,不知道为什么加速比这么恐怖.
 
明天在xeon 5310上面去试试,双CPU,一共8核,不知道会是什么样子,估计最多1S。。。。

免责声明:文章转载自《如何利用MATLAB并行计算缩短程序运行时间》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇微信小程序创建自定义select组件(内含组件与父页面的交互流程)Android 模拟器设置下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

centos7下 PHP添加pdo_myql扩展

1、确认PHP.ini位置, 可以到PHPinfo()查看,没有的可以查找php.ini复制一份; 2.查找PHP(5.6.30)里面的扩展目录 find / -name pdo_mysql 我的在/usr/local/src/php-5.6.30/ext/pdo_mysql 3.打开/usr/local/src/php-5.6.30/ext/pdo_my...

OneinStack——PHP多版本共存

前言 我事先安装的是LNMP环境,PHP版本为7.2,但是现在环境需要一个PHP5.6,所以就准备安装个上版本,顺带写个安装教程,写完后我发现了原来有直接安装的命令!所以后面的内容大家可以忽略了!从配置nginx文件看就好了! ./oneinstack/install.sh –mphp_ver 56 详细参数 version: 2.0 updated...

mac mamp pro 安装swoole和redis 拓展

方法1 官方文档介绍直接打开mamp pro 点击redis 打勾include redis server in groupStart即可 phpredis拓展自动就能够用了。 我目前用的是第二种方法, redis 客户端 https://gitee.com/qishibo/AnotherRedisDesktopManager 我现在用的是这个。 打开re...

腾讯蓝鲸cmdb部署

腾讯蓝鲸CMDB项目地址: https://github.com/Tencent/bk-cmdb 蓝鲸配置平台 (CMDB)http://172.16.6.10:8088 环境(单机测试): Centos6 16G 200G 依赖环境: Java 1.8.0_92 python 2.7 ZooKeeper 3.4.12 Redis 3.2.11 M...

算法&amp;gt;并行算法

并行算法 一、并行算法 什么是并行算法? 它可理解为: 适合于在某类并行计算机上求解问题和处理数据的算法, 是一些可同时执行的诸进程的集合, 这些进程相互作用和协调作用, 从而达到对给定问题的求解。 二、并行计算机 并行处理就是把一个传统串行处理的任务分解开来, 并将其分配给多个处理器同时处理, 即在同一时间间隔内增加计算机的操作数量。为并行处理所设计的计算...

shell 常用脚本维护笔记

Centos7.5 IP地址维护 #!/usr/bin/bash IPADDR=$(ifconfig|grep inet|sed '2,$d'|awk '{print $2}') GATEWAY=$(ifconfig|grep inet|sed '2,$d'|awk '{print $2}'|awk -F "." '{print $1"."$2"."$3"...