蒙特卡罗固定源计算的并行设计与实现
陈诚12，宋婧，张宽12，孙光耀1，，郝丽娟²，郑华庆²，吴宜灿2.1
（1.中国科学技术大学，安量合肥230027：2.中国科学院核能安全技术研究所，安量合肥230031）
复模拟以获得准确的结果，本文介绍了一种蒙特卡罗固定源计算的并行方法，并基于消息传递接口 摘要：蒙特卡罗方法在求解粒子输运问题中已得到广泛运用，由于其收效连度慢，需要耗费大量时阅重IAEA-ADS为测试例题在高性能计算集群上以32个计算内核进行测试，获得了85.81%的并行效率，同计能够有效地解决蒙特卡罗固定源计算的耗时问题. 等测试条件下并行效率高于MCNP，同时保证了申行结果和并行结果的一致，测试结果表明该并行设
关词：蒙特卡罗：并行计算：图定源；MPI：SuperMC
中图分类号：0246 文章标志码：A
文章编号：0258-0918（2014)04-0500-05
Design andImplementationofParallel Computingon Monte CarloFixedSource Calculation
OVH NS* NHZNOS NHZHENG Hua-qing WU Yi-can²1
(1 University of Science and Technology ef China Hefei of Anhui Prov. 230027 China2. Institute ef Nuclter Enengy Safety Technologr. Chinese Academy of Science Hefei of Anhui Prov. 230031 . China)
Abstract:Monte Carlo (MC) rmethod has been widely used in solving particle transportproblerms. Due to its slow convergence speed MC method costs a lot of time simulatingrepeatedly to obtain accurate results. A parallel method for MC fixed source calculationof multi-node and multi-core based on message passing interface (MPI) was implemented in Super Monte Carlo Calculation Program for Nuclear and RadiationProcess 2. 0. Taken IAEA-ADS as the benchmark the parallel efficiency reached86.81% which was better than MCNP when using 32 cores of high performanceputing cluster while ensuring the consistency of serial and parallel results. The test
results demonstrated the time-consuming problem of MC fixed source calculation can beeffectively solved by this design.
Key words: Monte Carlo;parallel puting:fixed source;MPI;SuperMC
解粒子输运问题的两种方法，相对确定论方法，生器的并行化.公式（1）和（2）分别为乘同余和MC方法的突出优势在于能处理任意复杂的几何斐波纳契方法产生随机数递推公式： 和材料分布的问题，其缺点是收做速度慢和误差具有概率性，为了获取准确的结果，需要重复模拟大量的随机过程.MC方法的计算耗时问题一直的发晨，MC方法的模拟计算速度随之提升，MC 制约着其在粒子输运中的应用.随着计算机技术粒子输运程序应用逐渐得到扩展.
MC方法具有数据独立，循环粒度大和负载均衡等特点，非常适合并行计算.20世纪末MC粒子输运程序逐渐走向并行化，例如MCNP、配一段数目够用（长度为m）的随机数序列，当 Geant4等都发展了各自的并行版本.并行计算开发工具有很多，如MPI（MessagePassingInterface）、PVM（ParallelVirtualMachine）、子及其次级粒子，串并行随机数序列如下OpenMP等.其中消息传递接口编程MPI由于其良好的扩展性，成为最主流的并行开发工 具，MPICH是MPI标准的一种重要实现，通过其可以构建MPI编程环境.
在大型集成多功能中子学计算分析系统VisuaiBUs-的框架下，基于蒙特卡罗等方法 和先进计算机技术，超级蒙特卡罗计算软件SuperMC是由FDS团队自主研发的通用三维核与辐射计算软件，SuperMC设计目标是实现辐算，热工水力学、燃料性能分析等多物理计 射输运计算，同位素燃耗/材料活化/辐射剂量计算，并具有系统化的自动计算建模和可视化分析功能.目前最新版本为SuperMC2.0.
本文介绍了一种基于粒子层次MC方法计算固定源问题的并行方法，并基于消息传递 接口MPI实现多核及多节点并行，最后以生，通常设定M为2的整数次幂，这时公式（1）IAEA-ADS例题为代表介绍了在高性能刀片可用求模的位运算，即公式（4）代替.集群上和MCNP的对比测试情况，
1并行设计与实现
1.1并行随机数产生器
MC方法计算固定源问题时，需要产生大最后运用公式（3）得到所需的组合随机数种子.
蒙特卡罗（简称MC）方法又称随机抽样技量随机数来实现随机抽样，本文以乘同余和斐
组合随机数序列产生可表示为：
本文中对串行随机数序列做了处理，使得并行 为了便于对并行实现的正确性进行校验，计算所用的随机数序列和串行一致，保证串并行计算结果一致：采用分段法为每个源粒子分该源粒子及其次级粒子模拟完毕时，跳过剩余的随机数，使用下一段随机数模拟下一个源粒所示：
粒子n2（=1）∞12（x1a*Zm 并行随机数序列：
进程k12（=1/x）12-1/）*
并行程序运行前，需要初始化每个进程的起始源粒子用到的随机数种子，本文使用跳跃法产生第k个进程所需的随机数种子.
乘同余方法跳跃法可以循环调用公式（1）产
斐波纳契方法跳肤法可以先使用要波纳1项和（k-1/k）mn项值，再代人公式（6）得到. 契通项公式，即公式（5），算出第（k-1/k）mn
(1)
y.=（y-y.-）modM（2)
x，=[（x/M）（y/M）]mod（3)
x =（Ax -）&（M-1)（4)
个计算内核，每个进程独立模拟完自己的任务后，的Worker进程利用MPI将粒子的统计数据打包，再将打包数据汇总到Master进程，由主进程最后处理并输出结果.
(6)
根据参考文献[8]设置相关参数，按照上述方法产生的随机数周期为2”，并能够保证每个进程基本同时产生自已需要的初始种子.
1.2并行模式设计
对等模式两种，其中主从模式由Master和 固定源并行计算的设计模式有主从模式和Slave进程构成通信域，Master进程控制并行流程和数据传输，Slave进程负责计算流程.Master进程会将任务分成小块，每当Slave处 于空闲状态时，就会为其分发一小块计算任务，直到计算任务块完成：对等模式由Master和Worker进程构成通信域，不同点在于Master进程和Worker进程同时参与计算.等进程计算结束后汇总结果到Master进 程输出.
主从模式每次计算完成小块任务后都要汇总结果，通讯较多，但负载均衡性好，在计算内核性能不同的集群中也能有很好的负载均衡 性，对等模式通讯较少，负载均衡性不如主从模式，但在计算内核性能对等的集群中有更好的并行效率.SuperMC的设计是要适应大规模高性能计算集群上运行需求，集群每个计算节点的计算内核性能都一致，所以本文采用对 等设计模式实现固定源计算的并行.
图1固定源计算并行流程
Fig 1 Parallel process of fixed source calculation
为了便于固定源并行计算数据的管理，本文设计了计数数据存储模块，在进程开始计算前，为每个进程申请一个计数数据存储空 间.计算结束时汇总各计算进程的计数数据（包括中间统计值、统计方差等）.
1.3并行流程设计
SuperMC2.0固定源计算串行流程包括以下几个部分：
各个计算进程存储的计数数据采用二分法进行归并，以提高计算效率.对于2个进程组 成的并行域，首先将2N-1~2号进程分别向~：-x-x2~0分别向0~2-号进程归并，以此类推，这样使并操作. 用N次归并操作时间就能完成原本2次的归
（1）解析输入文件，构建相应的几何材料模型，读取核数据库信息；
（2）根据输人文件设定的粒子数循环模拟每个源粒子及其次级粒子，在模拟过程中进行粒子径迹信息的提取和物理参数的计数：
（3）统计计数结果，打印最终输出结果.
2测试结果与讨论
SuperMC2.0固定源并行基于消息传递接口编程MPICH2-（1.4.1版本）实现.并行流程如图1所示，首先初始化并行环境，由 Master进程读取输人文件信息并广播到Worker进程，Master进程平均分配任务给每
2.1例题描述
并行测试流程.1997年Co-ordinatedResearched 本文以国际基准例题IAEA-ADS为例介绍Program 公布了IAEA-ADS-Benchmark 例题，
用于研究ADS（加速器驱动次临界系统）的中子ADS的反应性效应进行校验. 学性能分析，并对在有外源时不同次临界水平下
本文以IAEA-ADS例题为例，使用相同的核数据库HENDL3.0和相同的运行环境进行不同核数下SuperMC2.0和MCNP并行效率 的对比测试.测试使用曙光TC6300高性能计算集群，单个节点的配置如下：4×AMDCPUOperon6132HE八核处理器（单核主额卡，Windows Server 2003操作系统，测试内 2.20GHz），64GB内存，2×1000M以太网容为固定源计算中涉及的面积分流量、面通量、体通量、能量沉积、裂变能量沉积，以及辅助的计算结果达到收放. 网格计数卡，模拟的粒子数为100万以使最终
2.2测试结果及分析
图2IAEA-ADS-BenchmarkR-Z模型1/4几何布置 Fig- 2 Quarter geometricsl arrangement of theIAEA-ADS-Benchmark R-Z model
在计算精度方面，通过对比不同核数下的计算结果表明串行和并行的结果一致；在计算性能方面，首先统计了SuperMC2.0和MCNP不同计数卡在不同核数下的计算耗时.根据公式 （7）和（8）计算得出SuperMC2.0和MCNP在不同个数计算内核下的加速比和并行效率（表1和表2）统计情况.
IAEA-ADS是一个以U为燃料，Th为增殖材料，Pb为反射层的圆柱体结构的次临界系统.几何模型为一个320×640（cm）源是由高达1GeV的质子打到Pb-Bi靶上产 的R-Z柱模型（图2）.包括5个材料区，中子生的散列中子源，其中子能量高达20MeV，各向同性的在系统中心区城的小圆柱体内均匀发射.
(7)
(8)
其中t和tv分别是在1个和N个计算内核下的运行时间，N为参与计算的核数.
表1SuperMC2.0不同计算核数下的加速比和并行效率so jo Ja m o ns yo a pd pee dnps I a
参与计算 加速比 井行效率的核数 11 T2 T4 T6 T7 TMESH 平均1 2 1 000 1. 826 1.791 1. 000 1. 000 1.812 1. 000 1.829 1.000 1.831 1.000 1.958 1 000 1.841 100.00% 92. 05%4 3.508 3.621 3. 639 3. 702 3.679 3.792 3.674 91 85%8 7.561 7.010 7.004 7.161 7.155 7 388 7.213 90. 16%32 16 14.438 25. 319 14.307 28.686 28 091 14.215 14.296 28. 699 14.982 27.073 13.946 28.808 14. 367 27.779 89.79% 86.81%
表2MCNP不同计算核数下的加速比和并行效率Table 2Speedup and parallel efficiency of MCNP with different number of cores
参与计算 加速比的核数 F1 F2 F F F7 FMESH 平均 并行效率1.000 1.000 1.000 1. 000 1. 000 1 060 1. 000 100.00%
参与计算 加速比 并行效率的核数 F1 F2 F4 F6 F7 FMESH 平均2 4 1. 783 3. 222 1. 809 3. 268 3. 240 1. 786 1. 780 3. 235 1. 779 3. 204 1.784 3. 192 1.787 3. 227 8935% 81. 93%8 6. 177 6.261 6. 271 6.224 6.228 6.199 6.227 77.84%16 32 11. 948 19 145 11.888 19. 070 12.102 19 319 11. 975 19. 312 19.233 11. 961 19.285 12.050 11. 987 19.277 74.92% 60. 08%
注：不同计数卡对应关系，F1-面积分流量：F2-面通量：F4-体通量：P%-能量况积：F7-裂变能量沉积：FMESH-网格计数.
根据表1和表2的数据，绘制出如下两张图.其中图3是并行加速比随内核个数增长的变化图，从上到下依次是无通信开销的理化情况，由图可见相同条件下SuperMC的加 想情况、SuperMC和MCNP的并行加速比变速比增长基本保持线性增长趋势，而MCNP的加速比增长速度会不断减慢.在不同计算内核个数下，SuperMC的并行性能均高于MCNP.
Fig 3 Relationship between parallel speedup and 图3并行加速比与内核个数关系number of cores in calculation
图4是两者并行效率随内核个数增长的拟合变化曲线图.由图可见MCNP的并行效率随内核个数增长面衰减情况十分明显，在32个计算内核时只有60.08%，SuperMC的曲线保 持缓慢衰减，在32个计算内核时为86.81%.由此表明SuperMC具有更好的扩展性.
通过IAEA-ADS基准例题等一系列固定源问题的测试表明，SuperMC相比与MCNP具有更好的并行性能，并且具有更好的扩展性， 在大规模高性能计算集群中能够保持较为稳定的并行效率运行.
3结论
致谢
参考文献：
Fig 4 Relationship between parall efficieney andnumber of cores in calculation
图4并行效率与内核个数关系
针对MC方法模拟粒子输运间题中固定源计算耗时问题，本文介绍了一种基于MPICH的 粒子并行方法，通过国际基准例题IAEA-ADS测试证明该方法能有效解决耗时问题，并具有良好的扩展性.后期需要进一步研究固定源并行中区城分解等方法，以解决大规模问题计算所带来的MC模拟内存不足的挑战.
本工作得到FDS团队及其他老师的帮助与指导，向此深表感谢.
[1] Metropolis N. Ulsm S. The Moete Carlo method[1].Jourmal of the American Statistieal Association. 1949 44:335-341.[2]Fomest B BROWN J. Tm Goorley Jeremty E Sweety Methemties & Computation Ropisl Meting Apel. 2003 MCNPs Parallel processing workshop [ R . ANS
