论文研究-基于CFIO的参数自动选择研究.pdf

所需积分/C币:5 2019-09-12 12:34:12 702KB .PDF

为了使不同背景的使用者都可以在地球系统模式中发挥并行I/O库CFIO(Climate Fast I/O)库的最大效用,基于CFIO 设计并实现了一套参数自动选择的解决方案。该方案基于对目标模式程序的预运行收集到的I/O Tace信息,分为带宽测试子程序、Trace分析子程序和参数选择子程序,用户仅需要在命令行中运行这三个子程序即可自动地获得最优的CFIO参数。实验结果表明,依照该解决方案提供的参数进行设置可以有效地将模式的I/O过程隐藏在计算过程中,同时又避免了计算资源的浪费。
孙新华,张程,杨广文:基于CFO的参数自动选择研究 2015,51(1) 3 求,而是通过网络将10请求转发到(进程中;二是 IO CFO客户端的转发等待时间变长,从而增加程序整体 进程,负责地球系统模八屮的IO伾务,IO进程从计算运行时间。服务器端的堵塞是由于后端 PnetcDF数据 进程接收IO请求并调用 PnetcdF为计算进程实际执行处理的能力不足,根本原因是初始阶段分配的IO进程 IO请求。这样计算进程在完成IO转发之后,并不需要太少;若分配的IO进程过多则会造成IO处理能力的 等待计算过稈的实际完成,而是继续进行下一个时间步过剩,如图3(a)所示,造成计算资源的浪费。只有在计 的计算,而与此同时1o过程也在LO进程上并发地执算时间恰好等于O时间即如图3(c所示的情况下,才 行,从而实现了IO过程与计算过程的重叠,隐撒了IO既能保证模八程序运行性能又不浪费计算资源,实现IO 时间,缩短了模式整体运行的时间 过程与计算过程的完美隐藏。同时,在计算进程数H 炷的情况下,LO进程数目的不同会影响到每一个1O进 程对应的计算进程的数日,因此每一个IO进程需要处 理的IO请求数目也会不同,进而会影响CFIO服务器端 缓冲区的使用量。 PnctcDF 一计算过程〓IO转发过程〓1O过程 时间线 并行文件系统 (a)IO能力过剩,1O进程数目过多 计算进程 lO进程 图1CFI中IO转发结构图 计算过程10转发过程■1过程 具体分析CFIO的软件结构,如图2所示。运行在IO (b)lO能力无法满足需要,1O进程数目过少 进程上的CFIO服务器从运行在计算进程上的CFIO客 户端接收IO请求并缓存在缓冲区中,,之后通过调用 PnetcDF库按照先到先服务的原则处理1O请求,将数计算过程10转发过程10过程 时间线 据输出到文件系统中。CFO服务器处理O请求的流 (c)IO过程与计算过程完美重叠 程:当有新的IO请求到达时,程序会检查现有缓冲区容 图3计算过程与IO过程的重叠 量是否可以容纳最新到达的IO请求,如果可以,服务器 会正常接收转发而来的IO请求;若由于到达的IO请 设计与实现 求过多导致IO请求的大小超过了缓冲区大小,CHO服3.1地球系统模式IO特征分析 务器则不会再接收IO请求进入阻塞状态,需要处理并 在地球系统模式屮,模式的运行过程是有规律性 执行部分的1O请求释放出部分的缓冲区空间,直到缓的。由于地球系统模式中主要的计算过程均为动量方 冲区有足够的空间来缓存下一条10请求,服务器才会程组的迭代求解,在某些达代步的计算之后会输出一些 由阻塞状态转变回接收者状态,继续接收数据。 信息用于记录模式运行状况或者用于从程序崩溃中重 新启动,所以地球系统模式的运行会出现周期性的特 计算进程 征:计算过程和IO过程交替运行,计算过程是固定时间 1O请求 的一步或者儿步迭代,IO过程是以某一固定频率出现 CFIO客户端 其他计算进程的 在计算过程之后的记录信息输出。因此,对于单个计算 客户端缓冲区睡发送模块 数据流 进程来说,其IO请求在时间分布上是有周期性的,出一 O进程 个个突发性的波峰和波峰之后长时间的无IO的时间段 CFIO服务器接收模块 构成。而且每一个周期内也有不同数量的IO请求到达 高峰,这是由于不同输出文件输出频率不同造成的。而 CFIO服务器缓冲区 经过对丁海洋模式POP( Parallel Ocean Program)、海 IO请求队列 冰模式CICE两种常用地球分量模式中IO请求在 PnetcDF CFIO服务器端的到达分布情况的测试,可以发现多个 计算进程的LO请求在IO进程聚合之后仍然呈现出于 图2CFI结构细节图 计算进程一样的周期性,且与计算进程发起O请求时 旦进入CF服务器进入阻塞状态,CF0客户端的分布一致。这说明运行在不同节点上的CHO客户端 的计算过程也必须停止等待IO过程,这样计算过程与上计算过程是基本同步的,造成这科情况有两点原因, IO过程隐臧效果就会变差,如图3(b)所示,阻塞会让是因为在大部分高性能集群中各个物理节点的配置 382015,51(1) Computer Engineering and Applications计算机工程与应用 状况相同或类似,二是因为在地球系统模式中,每一个征,包括周期的时间长度、MO请求块的大小、一个周期 时间步的最后会有全局的 gather求和等需要全局通信O请求块的数目;二是运行平台相关信息,即不同 的操作,因此相当于每一个时间步各个计算进程都需要IO进程数目下 PnetcDF库的写入带宽。因此,为了解 同步一次。 决该问题设计了如图4所示的解决方案。 此外,对于每个1O请求块的大小进行分析可以发 现,在同一个模式程序中I请求块人小是完全相同或 预执行 者分段相同的。这是由于模八程序的输出通常情况下 Tac文件) 带宽测试 是嵌套在for循环中按照维度循环输出的,因此每次调 子程序 用CFIO写入函数发起的10请求大小会相同;对丁分段 Trace分析 子程序 处理步骤 相同的情况发现是山于写入数据类型的变化,整个写入 /1O速度 过程仍然嵌套在for循环中。 配置文件) 记求文件 文件 执行流程 3.2设计原理 参数选择 数据流向 根据第2章节对CFIO软件结构的分析,可以将 子程序 CFO服务器端对于IO请求的处理看做一个排队系〈进程、缓冲区参数 统。根掂上文的分析,该排队系统到达分布为确定性的 平均到达,服务规则为“先到达先服务”,其服务端分布 正式运行 即 PnetCDF库的处理也可以看作是确定性的平均分布 图4参数自动选择过程图 服务台的个数为1,所以进程管理和缓冲区管理的问题 通过H标地球系统模式程序的预运行利用CFO库 可以转化为对于该排队系统屮顾客源个数以及排队长收集其IO请求的痕迹信息,即Tace件;然后用Tace 度的计算问题。根据排队论可知,排队系统达到稳定的分析子程序得到标模式程序的1O特征信息并写入到 条件为在概率上,一段时间内到达的顾各总量等丁可配置文件中。同时,对于每一个不同的运行平台,需要 以被服务的顾客总量。CFO服务器端的Io到达有周用带宽测试子程序测试不同1O进程数H下 PnetCDF的 期性的特点,因为该系统达到稳定的条件是每一个周期聚合写入带宽,并将测试结果写入O速度记录文件 内到达的所有O请求都恰好能在该局期内被 PneICDF中。之后,利用配置文件中标模式相关信息和IO速 完全处理,即 度记录文件中的平台相关信息,通过参数计算子程序根 ∑S≤ Throughput(n)×T且M%n=0 (1)据式(1)、(2)进行计算,得出最后需要的IO进程数目和 其中,S代表一个周期内各个IO请求块的大小,n为缓冲区大小并打印到屏幕上最后,可以根据所得到的 IO进程的数目, Throughput(n)代表了n个1O进程时参数对cFo进行设置,正式执行目标模式程序。在此 PnetCDF的总体写入带宽。对于DO进程数,必须是计过程中,用户仅需要通过命令行依次调用带宽测试 算进程数约数这一点需要解释,是由JCFO设计过程 Trace分析和参数计算三个子程序,即可自动地得到适 中为了保正负载均衡和输出数据的局部性,规定LO划合丁当前运行平合秈目标地球系统模式的合适参数 分必须为计算划分的整数倍,即IO进程数必须为计算3 3带宽测试了程序 进程数的约数 带宽测试子程序负责针对不同的运行平台测试不同 而山于IO请求到达时间集中,在DO到达阶段每一TO进程数H下的 PnetCDF库总体写入带宽,在同一个 个1O请求到达时间间隔为1-4ms,且CFIO服务器处理平台上带宽测试子程序只需要运行次。该子程序输 机制为旦有IO请求达到则立即判断缓冲区空间是否入为一个2的幂的正整数x,输出为O速度记录文件。 充裕,以确定是香将IO请求加入队列中,能够调用 PnetcDF 带宽测试子程序的核心是·个MP测试程序,该程 库处理1O请求的时间极少。囡此,可以认为缓冲区的序调用 PnetcDF库进行数据输出,生成500个变量,每个 大小需要容纳IO请求最高峰时所有IO请求,即 变量为·个二维双精度浮点数数组,数组大小为4096 Buffer size=∑S (2)2048。所有的变量都输出到间一个 NetCDF文件中,最 终文件大小为32GB,程序的输出为32GB除以程序运 其中,S代表O请求数量最高峰时到达的各个O请行时间,即为当前进程数H下的 PnetCDF库的写入总带 求的大小,n为ⅠO进程的数H,N为预执行时IO进程宽。带宽测试子程序用脚本从1开始以2的倍增直至X 的数目;乘Mm表示正式运行时每一个1O进行需要接的进程数目调川MP测试程序,并将IO进程数目和相 收Nn倍的IO请求。 应的1O写入带宽结果写入1O速度记录文件中 根据式(1)、(2)可知,为了确定IO进程数目n的大 在实际CFIO使川过程中,IO进程的数目可以为不 小,需要两方面的信息:一是目标模式程序的相关IO特于计算进程数的任意正整数,出于效率和成本的考 孙新华,张程,杨广文:基于CFO的参数自动选择研究 2015,51(1)39 虑,在带宽测试子程序中不能够对丁每个O进程数目参数nag,用nag参数的值来表示是否需要进行1O 的 PnetCDF写入带宽进行测试。仅对2的正整数次幂 frace输出,若fag值为0,表示正式运行程序,无需进行 数目的LO进程IO带宽测试,如果在后续的参数选择/o Traco输出,在 cfia init函数中将全局变量 tracing flag 子程序计算屮需要用到的IO进程数目恰好在测试过的设置为0;若fag值为1,表示模式程序处于预执行阶段, 列表中,将会直接将测试结果返回;如果用到带测试需要进行 I/O Trace输出,将全局变量 tracing flag设 子程序并没有实际测试过的IO进程数目下的总体写入置为1。 cfi recv函数是CFlO服务器用于接收LO请求 带宽,则需要利用已有的数据进行估计。Li等人在对并判断是否将其放入缓冲区的函数,在 cfi recv函数屮 PnetCDF库吞吐量的测试后发现,其吞吐量的变化趋先进行判断 tracing flag的值,如果 tracing flag值为0, 势为先随着进稈数増加而増加,到达峰值之后再随着进则进行之前的操作;如果 racing nlag的值为1,则在将 程数的增加略有回落,实际测试的结果也是如此。这是Io请求加入缓冲区之前,按照维度遍历各个维度上 由于 PnetcDF厍后端调用了MP-O,而MPIO的聚合 count数组,即维度数据人小记录数组,将各个维度大小 IO采用两阶段IO实现。以读操作为例,进程间通过互相乘得到此次Io请求的数据块大小并同IO请求到达 相通信交换各自需岁读取的数据段进而得到一个全局时刻一起输出到屏幕上在程序预执行的过程中将打印 的JO视图,MPO的一个实现ROMo会根据全局到屏幕的信息重定向到1 Trace文件中。 视图重新确定每个进程需要读取的数捃段,然后执行两 在 Trace分析子程序屮,先对 I Trace文件屮IO 阶段IO:第一阶段为IO阶段,每个进程分别读取自己请求块大小信息和时间信息分开进行处理。根据31节 负责的数据段;第二阶段为通信阶段,进程间通过通信对于地球系统模式中I特征的分析可知O请求大小 从其他进程获取自己原本应该读取的数据段。当1O进是分段一致的,为了保证在所有的周期内均不发生堵 程较少时, PnctCDF获益于进程增加带来的并行写入效塞,需要统计出O请求块的最大值 Max size并统计出I 率的增加因此总体吞吐量随之增加;而受限丁底层并行请求的总数量 Uncount,这些操作仅需要对 T中 文件系统的写入带宽限制, Pnetcdi库的吞吐量会达到的块大小信息进行一次遍历即可获得。而对于周期的 峰值:之后随着进程数的进一步增加,两阶段1O中的通确定则相对复杂,首先要对 Trace D原始时间信息进 信阶段代价会随之増大,因此总体的吞吐量会咯有下降。 行处理,CFO中输出的时间是CFO客户端启动之后的 为了拟合这种先增加后减小的变化趋势,采用三次 相对时间,单位为ms。为了便于后续操作,第一遍遍历 样条插值算法*对未知吞吐量数值进行佔计。三次样以第一次1O请求发出时间为基准计算出每一个1O谐 条插值算法是一种常见的插值算法,被广泛应用于各 求到达的相对时间,同时以秒为单位对相对时问进行向 种理论研究和实际问题中,例如图形图像领域、数据同 化领域等等。相较丁双线性等算法,三次样条算法 下取整;之后,第二次遍历时间信息,统计从第0到最后 能获得光滑连续的插值结果,更能满足 PnetcD吞吐量每一秒到达的10请求数目;第三次遍历是为了确定整 续变化的数据特点,而且可以保证插值后的曲线个O过程的中各个LO阶段请求个数最大值信息,记 足 PnetcD库吞吐量先增大后减少的特征。具体的拟 为 MaxBlknum;第四次遍历是记录ⅠO请求个数最大值 合效果将在后续实验部分呈现 出现的次数 Period count以及峰值第一次出现的时刻r 34 Trace分析子程序 和最后一次出现的时刻Z,则最后周期时间长度 T4-T1 Trace分析子程序负责根据 I/ Trace文件统计目 T Period count 标地球系统模式程序的O特征信息,包括周期时间长即O请求个数最大值出现的次数表示在整个运行过 度、一个周期内1O请求数目、平均请求大小等信息,程中的周期个数 period count,而Tm与T之间间隔了 其输入是目标模式程序的 I O Trace件,输出为配置( Periodcount-1)个完整的周期,两者相除即可得到每 文件。 个周期的时间长度。最后 Trace分析子程序会将得到 模式的 I/o Trace文件是预执行阶段产生的,重新 编写了CFO库的两个函数,其名称和功能如表1所示。 信息:LO请求块大小的最大值 Maxsize、LO请求的总数 量 Uncount、周期个数 Periodcount以及周期时间长度 表1网数名称及功能 T以文本的形式写入配置文件中输出。 函数名 功能 35参数选择了程序 ctio init CFIO初始化 参数自动选择程序负责根据记录在IO速度记录文 ctio rc CHIO服务器接收1O请求 件中的平台相关信息和记录在配置文件中的目标模式 cfo init函数是CFIO在 PnetcDF接口的基础上新增相关1O特征信息,计算出合适的CFIO库IO进程数目 加的一个函数,其主要作用是对CFIO的客户端服务器和缓冲区大小。其输入为带宽測试子程序和 Trace分析 进行初始化设置。对丁 clio inil函数,加了一个标志位子程序的输出文件即IO速度记录文件和配置文件还有 402015,51(1) Computer Engineering and Applications计算机工程与应用 颜执行时计算进程的数目M,预执行时lO进程数N 对于CFIO服务器端缓冲区的大小,根据公式(2)可 输出为合适的IO进程数n和CFO服务器端缓冲区大知, Buffer size= MaxBlknum× Maxsize,即Io请求数目 小 Buffer Size,并将结果打印到屏幕上。 的峰值与IO请求块大小的最大值相乘,叮以根据 Tracc 整个计算过程的伪代码如图5所示,在整个参数选信息得到结果。 择计算过程中,先根据 I0 Trace文件中的信息计算出 如果经过上述过程没有得到合适的IO进程参数即 要保证在一个周期内写入所有IO请求所需要的找不到大丁 Threshold的值,说明该目标模式程序的写 PnetCDF写入带宽 Threshold,即用Trae中IO请求数量数量超过了目前平台的写入处理能力,必然会出现堵 之和 Sun count与周期数 Period count相除得到每个周塞,需要在写入速度峰值之前选择尽量多的1O进程;如 期IO请求的数量,乘IO请求块大小的最大值 Max size果找到了合适的IO进程数n,将会连同B∥ ResIze一起 即为每一个周期最多处理的数据总量,再与周期时长7打印到屏幕上。 相除就可以得到所需要的写入带宽。之后,遍历LO速 度记录文件得到S1、S2、S3和P、P2、P1六个参数,其中4测试分析 S表示1O处理速度的峰值,S2表示在1O速度上升阶 在清华大学“探索100”万亿次集群系统上,以海 段第二大的值,S3表示在IO速度下降阶段第二大的洋模式POP为目标程序,对该参数自动选择程序进行了 值,而P、P2、P3表示其各自对应的IO进程数。接着, 测试。“探索100”集群的每个计算节点采用两个 Intel 大于S,则表明可 Xeon X5670六核处理器,每个处理器主频为239GHz, 对多种情况展开讨论如果mhr于S,则表明可配有12 MB Cache;每个节点内存为32GB,所有节点 能的取值会在(P2,P区间内,对区间内所有可以整除通过 InfiniBand QDR通信网络实现高速通信,理论带 计算进程数量M的值从小到大进行遍历,如果在IO记宽为40GBs;使用 Lusture并行文件系统作为其底层文 录文件中存在则直接与 Threshold值比较,如果不存在件系统,配置为1个元数据服务器(MDs)和40个对象 则进行插值比较,若钅在大 Threshole的值则跳出循存储目标(OST),实测写带宽为4GBs;计算节点运行 环。如果 Threshold小于S1,需要找到其所在的速度区的操作系统为 RedHat Enterprise Linux55,所有程序 间的最小值S4和最人值S3及其对应的IO进程数目P4使用 Intel编译器v11编译,MP版本为 ntel MPI 和P5,其中S3有可能与S、S2重合。之后从小到大遍402 历S…SJ区间,对于每一个可以被M整除的值对应的41拟合效果测试 总体写入带宽进行插值操作,如果出现大于 Threshold 在“探索100”上运行带宽测试子程序,指定凶最大 的值将直接跳出循环。 进程数为256,得到的结果如表2所示 表2不同进程数日下 PnetcDe写入带宽 Ttsh=dN“w Maxs/xl/I/macnair 进程数 写入带霓(MB·s") 通》度记文件,得1,5,和西,约,P 1为10值,2为上升段前二大售 201.53 /3为下阶二大值,P“凸为机应出程数 253.91 Hhs:数 一凸缸P M厂De 350.3 508.52 n(i)< Threshoid twe 128 l097.66 为了验证插值算法的有效性,额外测试了当IO进 1片1速度记希文件,我出 mnsod所在区上下白的10写人度sa 程数目为12、2448、96和144时 PnetcDF库的总体写入 3s,其对10连程日为P,再 和P六 带宽的数值。如图6所示,其中蓝色圆圈代表带宽测试 if Threshold< interpolation (z)has 子程序中测量的写入带宽值,绿色曲线代表根据测量值 b 插值获得的曲线,而红色折线代表了相应IO进程数目 sid fo ifa'e0trm 时真实的写入带宽。根据结果可以发现,立方插值的结 a Buffer Size= Max Size x Max BlkNimm x N/n 果反映了 PnctCDF库总体写入带宽先增长后下降的趋 卫·t 势。同时在1O进程数值较小时,拟合结果与实测值差 距较小,随着Io进程增大测量密度的降低,误差稍有增 图5参数选择程序伪代码 人,总体效果在可以接受的范围内 孙新华,张程,杨广文:基于CFO的参数自动选择研究 2015,51(1)4 宽测试子程序试结果 次捕值结果 l200 OP计算过程 aI000 非 略9 l00 200 300 400 500 600 200 时间轴s 图7POP计算进程120,计算进程20和24对比 100 200250 IO进程数日 图6三次样条插值效果 4.2对海洋模式POP的测试 800 POP是美国洛斯阿拉莫斯国家实验室( Los Alamos 600 National Laboratory)开发的海洋数值预报模式,利用 400 POP模式可以推进10年期和大尺度气候预测科学的发 展,现在已经成为许多气候模拟器中的标准模块 05010015020025030030400 在本次实验中,将POP的重启动文件输出频率设置 时间轴/s 为每10步一输出,映像文件和历史文件设置为每2步 图8CFIO服务器端缓冲区使用情况 输出,程序共运行40步,计算进程数M为120,在预执 缓冲区使用数量即图8中蓝色线在程序运行过程中始 行阶段采用120个IO进程,CFIO服务器端缓冲区大小 终没有超过本文通过参数选择子程序确定的114125MB 设置为3GB 的横线,即图中的红色线 利用 Trace分析子程序可以得到模式IO特征信息 由以上分析可以认为,这套参数自动选择程序确实 为:O请求块最大值 Max Size为055MB,1O请求总数为海洋模式POP选择了在现有平台上的最优参数,既满 量 Uncount为3064个,周期个数 Periodcour为4,周足了性能的需求乂避免了资源的浪费。 期时长T为110S。得出的满足条件的最小写入带宽为 Threshold=120×3064×0.55/4×110=459.6MB/s 5结東语 利用参数自动选择程序得到IO进程数目为24,缓 面向高分辨率地球系统模式的并行lO库CFO的 冲区大小为1141.25MB,其中 Throughpu(24)拟合的出现,通过1O转发技术实现了1O过程与计算过程的 结果为469876MB/s,大于 Threshold值 重叠,提高了模式的整体性能。但是,对于缓冲区大小 为了验证参数自动选择程序的正确性在计算进程和进程数H的管理仅仅依靠过去经验式的参数指定方 数目固定为120的情况下,分别用1O进程数为20和24式会因为1O过程与计算过程无法完美重叠而造成性能 运行原有的POP程序,同时在CFO服务器端 cfia recv损失或者资源浪费,基于CFO开发了套参数自动选 函数中,在每一个请求加入缓冲区之间输出已用缓冲区择程序,CFIO的使川者仅需要通过命令行的方式运行 大小信息和时间信息,并测量POP的整体运行时间。 三个子程序就可以自动地获得针对当前平台当前应用 如图7所示,当IO进程为20个时,在340s左右由于的CFIO最佳参数。通过目标模式的预执行在CHO的 缓冲凵满,CF⑩O服竻器堵塞不接受新的IO请求,直到服务器端搜集模式IO相关信息,并利用 Trace分析子程 后端 PnetcDF库处理让缓冲有了新的空间,才会让新序得出IO块大小、数目等统计信息,结合带宽测试子程 的IO请求进入缓冲区,所以造成了IO请求的时间分序得到的平台吞吐量相关信息,可以得到将IO过程完 布被拉长,且在340s处出现了每秒只有50个左右的O美隐撒在计算过程中的参数设置。 请求进入缓冲区,进而影响了模式程序的鳘体运行时 对这套参数自动选择程序在POP和CICE两种分量 间。当IO进程为20个时,POP运行40步需要524.133s;模式上进行了测试。根据其提供的结果对CFO进行设 当IO进程为24时,POP运行40步仅需要434.038s 置可以发现,在相应参数下,POP和CICE都可以在使用 而对于已用缓冲区信息,以秒为单位统计每秒内缓尽量少的计算资源的情况下取得理论上最好的加速效 冲区使用大小最大值,结果如图8所示。 果,可以计地学研究人员在模式中更加方便地使用CFIO 422015,51(1) Computer Engineering and Applications计算机工程与应用 参考文献 performance scientific 1/O intertacelC],Supercomputing []王斌,周天军,俞永强地球系统模式发展展望[J气象学报, 2003 ACM/IEEE Conference.[S1.]: IEEE, 2003 2008,66(6):857-869. [10] Recio R, Culley P, Garcia D, et al. An RDMA protocol [2] Strand G Community earth system model data management specification, IETF Internet-draft draft-ietf-rddp-rdmap-03 policies and challenges[]. Procedia Computer Science, 2011 txt( work in progress )[R].2005 4:558-566 [11 Smith R D, Gent P R Reference manual for the Parallel 3] Huang X M, Wang W C, Fu hH, et al. A fast input/output Ocean Program(POP), ocean component of library for high-resoluLion climate models[J]. Geoscientific munity Climate System Model( CCSM2.0 and 3.0),lech Model Development, 2014, 7(1): 93-103 nical Report L.A-UR-02-2484[R].Los Alamos National [4] Dennis J M, Edwards I, Loy R, et al. An application-level Laboratory, 2002 parallel Io library for Earth system models[JInterna [12] Hunke E C, Lipscomb W H CICE: the Los Alamos sea tional Journal of High Performance Computing App ice model documentation and software users manual ions,2012,26(1):43-53 Tech Rep LA-CC-06012[R]. Los Alamos National Labo [5]Docan C, Parashar M, Klasky S Enabling high speed asyn ratory, 2004 chronous data extraction and transfer using DART[J] Concurrency and Computation: Practice and Experience [13 Thakur R, Gropp W, Lusk EData sieving and collective IO 2010,22(9):181-1204 in ROMIO[C]/Proceedings of the 7th Symposium on 16 Lawrence D, Yang L, Oleson K, et al. Community earth sys Frontiers of Massively Parallel Computation( Frontiers 99) ten model Z].2010-10 [S.1:EEE,1999:182-189 [7 Corbett P. Feitelson D, Fineberg S, et al. Overview of the 14」李庆扬,王能超,易大义数值分析M].5版北京:清华大 MPI-IO parallel IO interface[M]/Input/Output in Parallel 学出版社,2008:41-44 and Distributed Computer Systems [S 1]: Springer US, 1996: [15 Endrodi GMultidimensional spline integration of scattered 127-146 data[j]. computer Physics Communications, 2011(6) [8 Rew R, Davis G NetCDF: an interface for scientific data 13U7-1314 access[j].computERgRaphicsandApplications1990,10(4):[16]FahmyMf,fahMyG,FahmyOF.b-sPlinewaveletsfor 76-82 signal denoising and image compression[JSignal, Image [9 Li J, Liao W, Choudhary A, et al. Parallel netCDF: a high- and Video Processing, 2011. 5(2): 141-153 (上接30页) [7]周晓光,高学东基于FANP模型的建设项目选择方法与应 量风险评价体系具有较好的科学性、客观性、实用性和 用[门系统工程理论与实践,2012,32(11):2459-2466 ]许永平,朱延广,杨峰,等基于ANP和模糊积分的多准则 优越性,将为建筑材料质量风险评价提供一种较为合理 决簧方法及其应用[系统工程理论与实践,2010,30(6) 的评价方法。 1099-1105 [9]雷晓刚,李江.基丁ANP-FCE模型的大型航大研发项目风 参考文献: 险评估[科学技术与工程,2011(26):6502-6506 [] Saaty t L Multicriteria decision making[M] Pittsburgh,[10]杜红兵,李晖,袁乐平,等基于 Fuzzy-ANP的空管安全风 PA: RWS Publications. 1900 险评估研究门中国安全科学学报,2010(12):122-126 [2]聂相田,罗刚基于模糊网络分析法的水利工程施工风险「11朱连滨,孔祥荣,吴宪北京市主要建筑保温材料生命周期 分析[人民黄河,2011,33(5):113-114 与环境经济效益评价UJ生念学报,2014,34(8):2152163 [3]卢亚琼,章恒仝基于改进的网络分析法的国际工程风险评12]李玉琳,高志刚、韩延玲模糊综合评价中权值确定和合 价[项目管理技术,2014,14(4):78-82 成算子选择门计算机工程与应用,2006,42(23):38-42 [4]陈相杰,杨乃定,刘效广研发项日复杂性指标权重确定的[13]李莹,于靓,冯国会,等基于∧NP的大型公共建筑能耗评 FANP法门计算机工程与应用,2014,50(13):42-46 价指标体系研究[节能,2012(12):44-46 「5]唐文彬,张飞涟,李品品基于模糊网络分析法的城际铁路「141胡子义,谭水木,彭岩基于ANP超级决策软件中的智能 建设项目风险评价研究[铁道科学与工程学报,2011,8 评估计算与应用[计算机程与设计,2006,27(14): (4):68-73 2575-257 [6]马珺杰基丁模糊网络分法的地铁站应急疏散能力综合[15]唐小丽.模糊络分析其在大型工程项目人险评价中的 评价门中处企业家,2014(2):194-196 应用研究[D]南京:南京理工大学,2007:74-77

...展开详情
img
  • 至尊王者

    成功上传501个资源即可获取

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源