正在阅读：曙光CAE高性能计算解决方案曙光CAE高性能计算解决方案

　　四、曙光CAE高性能计算解决方案

　　当设计CAE高性能计算整体解决方案时，要充分考虑用户需求，比如资金预算、问题类型、分析规模、用户数量、软件License个数等，以此来确定最终的硬件选型。

　　4.1 以隐式分析为主的解决方案

　　常用的隐式有限元软件有ABAQUS/Standard、ANSYS、MSC.NASTRAN等。根据隐式有限元分析要求内存容量大、磁盘IO快、通信延迟低的特点，推荐采用基于SMP架构的4路的曙光天阔A820r-F或A830r-F，对于预算充足的用户，可以采用8路的曙光天阔A950r-F。

　　上述几款机型用于隐式有限元分析有以下优点：

　　1）采用了最新的AMD Opteron™ 8000系列处理器，支持双核技术。

　　隐式有限元分析对系统的浮点运算性能和内存带宽要求非常高。在共享内存架构中，各处理器之间通过访问内存中的公共变量进行通信，内存存取延迟越小，则性能越高。Opteron 处理器内部则整合了内存控制器，CPU与内存之间的数据交换过程简化为“CPU--内存--CPU”三个步骤，与传统的基于北桥芯片的方案相比显然具有更低的数据延迟，这有助于提高计算机系统的整体性能。

　　2）采用了先进的 Registered ECC DDRII内存，最大支持64GB~128GB内存。

　　隐式解法内存占用较大。以40万自由度为例，如果采用ANSYS的SPARSE求解器，大概需要6GB内存。当物理内存不足的时候，ANSYS采用磁盘文件作为虚拟内存，但这样会大大降低性能。配置较多的物理内存，则可将所有数据都放在内存中，ANSYS不需要进行磁盘文件交换就能完成整个求解过程，从而节约求解时间。因此内存配置推荐至少1GB/Core，最好是2GB/Core。

　　3）最多可以安装8块热插拔SCSI硬盘，可以通过RAID提高磁盘性能。

　　进行隐式有限元分析，尤其是模态分析，会产生大量的临时文件，而且要反复读写磁盘，因此磁盘IO速度对于软件的计算性能也非常关键。据统计，1个40万自由度的算例，计算过程中的磁盘IO量可达16.2GB。通过多块磁盘的RAID，磁盘的IO速度可以成倍提高。

　　4）进程之间的通信在节点内部完成，通信延迟在1μs以内。

　　基于SMP架构的4/8路双核服务器，可以同时运行8-16个计算进程，正好是隐式有限元算法加速比最好的范围。而且由于进程之间的通信在节点内部进行，通信带宽和延迟比采用外置交换机的集群要高出一个量级，因此能获得更好的运算性能。

　　4.2 以显式分析为主的解决方案

　　常用的显式有限元软件有ABAQUS/Explicit、LS-DYNA、PAM-CRASH等。相比而言，显式有限元软件对系统硬件的要求略低一些，从性价比以及软件的扩展性出发，推荐采用由2路的曙光天阔A610r-F或A620r-F作为计算节点的曙光天潮4000A集群系统。

　　采用集群系统进行显式有限元分析具有以下优点：

　　1）采用集群系统，节点硬件配置可以略低一些，节省投资。

　　集群节点采用Opteron 2000系列处理器，系统内存的配置推荐1GB/Core，只需配置1块硬盘即可。

　　2）采用集群系统，可以为用户提供更多的CPU资源。

　　在同等价格的情况下，集群系统可以为用户提供更多的CPU资源。可以同时满足多个用户、多个计算任务的需求。同时集群的各个节点也可独立进行运算。

　　3）采用集群系统，各个节点可以协同工作。

　　集群系统的特点在于虽然各个节点的计算性能有限，但是多个节点可以通过高性能网络进行协同工作，共同完成大规模问题的求解。目前主流的计算软件也都支持集群并行计算。

　　4）采用集群系统，进行扩展非常方便。

　　当需求增加时，通过增加节点数量，可以立即提升系统的整体运算能力，用户以前的投资不会浪费。

　　在集群系统中，网络的性能直接影响整个系统的实际运算能力。目前市场上主要有三种高性能计算网络：千兆以太网、Myrinet和Infiniband。应该根据用户的预算和系统规模进行选择。24节点以下，一般推荐采用千兆以太网，性价比较好，而且所有计算软件都支持；如果节点数在32节点以上，可以考虑带宽和延迟都更低的Myrinet和Infiniband，但同时必须考虑到用户是否购买了支持这两种网络的软件版本。