并行程序中不同I-O實(shí)現(xiàn)方式的設(shè)計(jì)與I-O性能.pdf

1、大規(guī)模的并行計(jì)算機(jī)越來(lái)越多的被用于解決許多不同領(lǐng)域的大規(guī)模的I／O密集型應(yīng)用，對(duì)于這些應(yīng)用，I／O請(qǐng)求在獲得高性能方面上常常造成嚴(yán)重的障礙,當(dāng)前研究的一個(gè)重要方面就是開(kāi)發(fā)一些技術(shù)來(lái)降低執(zhí)行I／O的開(kāi)銷(xiāo)。 本文首先討論了并行環(huán)境中I／O的基本方法——串行I／O方法和并行I／O方法，并使用MPI-1及MPI-2對(duì)這兩種方法進(jìn)行了實(shí)現(xiàn)。分析了當(dāng)訪問(wèn)連續(xù)數(shù)據(jù)塊時(shí)不同的實(shí)現(xiàn)方法對(duì)I／O帶寬產(chǎn)生的影響。通過(guò)理論分析和實(shí)驗(yàn)表明，基于MPI-1

2、的并行I／O實(shí)現(xiàn)方法與其它I／O實(shí)現(xiàn)方法相比，可得到更高的I／O帶寬，是解決I／O性能問(wèn)題的有效途徑。 接著，本文討論了如何提高非連續(xù)訪問(wèn)的性能。并行程序中的訪問(wèn)模式通常是由訪問(wèn)大量的小的連續(xù)數(shù)據(jù)塊組成，如果應(yīng)用程序中的I／O要求制造許多小的I／O請(qǐng)求的話，那么I／O性能就會(huì)明顯下降。為了解決這個(gè)問(wèn)題，本文分 析了兩種方法： 一種方法是兩階段I／O方法，即處理器間相互合作開(kāi)發(fā)的一 種I／O策略，該方法是通過(guò)減少I(mǎi)／O請(qǐng)求的

3、數(shù)量，增大I／O請(qǐng)求的大小，來(lái)更 好更充分的利用I／O子系統(tǒng)。我們描述了兩階段I／O的實(shí)現(xiàn)算法，并通過(guò)編寫(xiě) 程序?qū)λM(jìn)行了實(shí)現(xiàn)。通過(guò)實(shí)驗(yàn)分析了兩階段I／O算法對(duì)I／O帶寬產(chǎn)生的影響。 實(shí)驗(yàn)結(jié)果表明兩階段I／O與non-collcetive I／O操作相比，可在很大程度上降低執(zhí)行非連續(xù)I／O的開(kāi)銷(xiāo)。另一種方法則是視口I／O方法。MPI-IO的一個(gè)重要特征是它允許用戶(hù)通過(guò)使用派生數(shù)據(jù)類(lèi)型定義文件視口來(lái)使用一個(gè)單一函數(shù)請(qǐng)求訪問(wèn)幾個(gè)非連續(xù)