cae-cfd應(yīng)用與解決方案

1、CAE-CFD應(yīng)用與解決方案,CAE仿真對(duì)高性能計(jì)算的需求,計(jì)算機(jī)輔助工程（CAE）與高性能計(jì)算更快的速度更高的精度更大的規(guī)模問(wèn)題——如何選擇提供最佳應(yīng)用性能的硬件？CAE軟件眾多，對(duì)硬件的需求不一硬件更新速度迅速：處理器、互聯(lián)方式、體系結(jié)構(gòu)曙光公司與MSC、ANSYS、ESI等領(lǐng)先的CAE軟件廠(chǎng)商合作，為用戶(hù)提供最佳的解決方案！,1.1 CAE軟件的不同需求,對(duì)于Ansys、Nastran以及Abaqus等應(yīng)用程序并行

2、度不高，擴(kuò)展性一般小于16CPU單個(gè)作業(yè)對(duì)內(nèi)存的要求很大單個(gè)作業(yè)對(duì)I/O的空間和性能要求很高以ANSYS為例SPARSE----DSPARSE10 GB/MDOF（in-core）10 GB/MDOF I/OPCG----DPCG1 GB/MDOF without MSAVE 0.5 GB/MDOF I/O,虛擬內(nèi)存(或swap)嚴(yán)重影響速度內(nèi)存的存取速度是硬盤(pán)的幾十~幾百倍!計(jì)算主進(jìn)程比從進(jìn)程需要更大內(nèi)存主進(jìn)程

3、擔(dān)負(fù)更多 (數(shù)據(jù)管理、域劃分等)主進(jìn)程需要持續(xù)的高性能I/O減少I(mǎi)/O對(duì)CPU的占用避免共享文件夾/NFS并行I/O系統(tǒng)(Raid 0),對(duì)于Fluent、CFX、LS-Dyna等程序并行效果好能夠在集群環(huán)境下并行到超過(guò)128個(gè)cpu以雙路服務(wù)器性?xún)r(jià)比最高對(duì)內(nèi)存的需求不強(qiáng)烈通常1 個(gè)cpu core配置1GB 內(nèi)存即可滿(mǎn)足需要。對(duì)本地交換硬盤(pán)性能要求不高一般采用SCSI/SATA硬盤(pán)即可采用高速互聯(lián)設(shè)備可以大幅度

4、提高性能以Fluent 為例，8個(gè)雙路計(jì)算節(jié)點(diǎn)時(shí)采用Infiniband 互聯(lián)設(shè)備的性能會(huì)比千兆以太網(wǎng)好50%以上。Linux 操作系統(tǒng)比Unix 操作系統(tǒng)更加廣泛采用，可根據(jù)需要選擇Windows,,對(duì)于Feko等電磁場(chǎng)程序采用PO/UTD方法，并行效果很好，能夠在集群環(huán)境下并行到超過(guò)128個(gè)cpu采用MoM/FMM方法，并行擴(kuò)展性不高，小于16cpu對(duì)內(nèi)存和I/O的要求比隱式有限元程序還要高得多,,CAE軟件可擴(kuò)展性,隱式

5、結(jié)構(gòu)力學(xué)MSC.NASTRANMARCANSYSABAQUS/Standard顯式結(jié)構(gòu)力學(xué)LS-DYNAAutoDynDytranABAQUS/Explicit計(jì)算流體力學(xué)FluentSTAR-CD/HPCPowerFLOW CFX CFD-Fastran,計(jì)算電磁學(xué)Feko矩量法/FMM 128cpu聲學(xué)分析sysnoise,處理器的選擇AMD Opteron & Intel Xeon

6、軟件兼容性好，管理方便，成本低，性能較高IBM Power & Intel 安騰性能較高但價(jià)格昂貴，軟件兼容度不高發(fā)展趨勢(shì)雙核、四核、多核X86和RISC的融合運(yùn)算加速技術(shù)等,1.2 哪些硬件可供選擇,,互聯(lián)方式的選擇千兆以太網(wǎng)，帶寬?。ɡ碚撝?25MB/s),延遲大35--45 µs ；Myrinet：MPI乒乓測(cè)試帶寬：230 MB/s，MPI短消息延遲：7 µs ；Infiniban

7、d；MPI乒乓測(cè)試帶寬：850 MB/s，MPI短消息延遲：< 7 µs ；,體系結(jié)構(gòu)的選擇,共享內(nèi)存結(jié)構(gòu)內(nèi)存支持統(tǒng)一編址處理器之間通過(guò)高速總線(xiàn)連接OpenMP支持內(nèi)部通信能力強(qiáng)例子曙光A950 IBM P575,,集群結(jié)構(gòu)內(nèi)存無(wú)法統(tǒng)一編址計(jì)算單元通過(guò)網(wǎng)絡(luò)相連MPI支持內(nèi)部通信能力較弱例子曙光TC4000IBM 1350,SMP or 集群？,SMP服務(wù)器適用的地方基于OpenMP/多線(xiàn)程

8、需要大量I/O操作Nastran、Ansys、Abaqus、Sysnoise集群服務(wù)器適用的地方基于多進(jìn)程擴(kuò)展性較好需要分布式任務(wù)Fluent、CFX、 Ls-Dyna、 FEKO,SMP＋集群解決方案面臨的問(wèn)題,傳統(tǒng)方式,RISC SMP服務(wù)器＋CISC X86集群,RISC SMP服務(wù)器價(jià)格較為昂貴,1,最典型的異構(gòu)平臺(tái)特征,2,無(wú)法實(shí)現(xiàn)統(tǒng)一調(diào)度,3,分立存儲(chǔ)方式,4,？,2.曙光CAE高性能計(jì)算平臺(tái),完全基于x86-6

9、4處理器的平臺(tái)SMP節(jié)點(diǎn)和Cluster節(jié)點(diǎn)之間可以實(shí)現(xiàn)最大限度的軟硬件兼容性采用Infiniband網(wǎng)絡(luò)進(jìn)行所有節(jié)點(diǎn)之間的高速連接DCAS/DCJM可對(duì)系統(tǒng)軟硬件資源進(jìn)行完善的管理SKVM可對(duì)系統(tǒng)進(jìn)行方便的操作、管理和監(jiān)控,2.曙光CAE高性能計(jì)算平臺(tái),方案特點(diǎn)1,一體化：完全基于x86-64平臺(tái)，整合SMP小型機(jī)、刀片集群、SAN存儲(chǔ)以及作業(yè)管理軟件,方案特點(diǎn)2,高性能每臺(tái)SMP服務(wù)器天闊A950提供32處理器內(nèi)核和256

10、GB以上內(nèi)存，32*4*2.0G=2560億次每臺(tái)TC2600刀片機(jī)箱提供80個(gè)處理器內(nèi)核和64*10GB以上內(nèi)存，80*4*2.0G=6400億次10/20Gbps高速I(mǎi)nfiniband網(wǎng)絡(luò)大幅度提升并行計(jì)算性能全4Gb光纖存儲(chǔ)網(wǎng)絡(luò),方案特點(diǎn)3,高可靠管理、IO節(jié)點(diǎn)冗余配置網(wǎng)絡(luò)交換機(jī)和光纖交換冗余配置刀片服務(wù)器采用全冗余設(shè)計(jì)電源風(fēng)扇管理模塊交換模塊,方案特點(diǎn)4,易管理SMP節(jié)點(diǎn)和Cluster節(jié)點(diǎn)之間可以實(shí)現(xiàn)最

11、大限度的軟硬件兼容性，降低了管理員的工作難度DCAS/DCJM可對(duì)系統(tǒng)軟硬件資源進(jìn)行完善的管理SKVM可對(duì)系統(tǒng)進(jìn)行方便的操作,舉例:內(nèi)存帶寬比較（實(shí)測(cè)） 數(shù)據(jù)訪(fǎng)問(wèn)率,,,,,,,,,,,,,,,,,,,,,,,,,,,內(nèi)存帶寬比較 (數(shù)據(jù)流),0,5000,10000,15000,20000,帶寬,(MB/s),,,,,,,,,,,2路至強(qiáng)處理器 5160 (4,線(xiàn)程),6185,6191,5760,5865,,,2路 AMD皓龍

12、處理器,Model 2220 SE (4 線(xiàn)程),13480,13428,13179,13296,,,4路 AMD皓龍?zhí)幚砥?Model 2220 SE (8 線(xiàn)程),18057,18018,18244,18271,Copy,Scale,Add,Triad,,內(nèi)存帶寬是每秒鐘處理器讀取或存入內(nèi)存子系統(tǒng)的數(shù)據(jù)量,原因在于前端總線(xiàn)瓶頸,越高越好,英特爾帶寬較低,AMD 集成的內(nèi)存控制器可以提供移動(dòng)大量的應(yīng)用數(shù)據(jù)所需的高內(nèi)存帶寬,AMD 皓龍

13、處理器 提供的帶寬比2路處理器帶寬高 124%,計(jì)算密集型應(yīng)用基準(zhǔn)測(cè)試 --流體力學(xué)性能 Fluent性能測(cè)試,計(jì)算密集型應(yīng)用基準(zhǔn)測(cè)試 --流體力學(xué)性能 Fluent加速比測(cè)試,計(jì)算密集型應(yīng)用基準(zhǔn)測(cè)試 --LSDYNA性能,計(jì)算密集型應(yīng)用基準(zhǔn)測(cè)試 --LSDyna機(jī)群性能,高速I(mǎi)nfiniband網(wǎng)絡(luò),InfiniBand is the only growing high speed interconnect105% grow

14、th from June 2006173% growth from Nov 2005Clusters continue to dominate with 72.2% of the Top500 list,Growth rate from June 06 to Nov 06InfiniBand: +105%Myrinet: -10%Quadrics: 0%GigE: -16%,InfiniBand Myri

15、net Quadrics GigE,,,,,1.5 to 2X Faster Run Times with InfiniBand,LS-Dyna,Small-car rigid pole (WPI rp_lsd93),,SMP小型機(jī)服務(wù)器A950,,,,16*16/1024MHz HT,,GbE,,,,GbE,,,,,,,,,,,,,,,,,,,Intel 82541PI,,,VGA,