高性能計(jì)算環(huán)境下基于負(fù)載感知的混合寫緩沖系統(tǒng).pdf

1、當(dāng)高性能計(jì)算朝著百億億次級(jí)發(fā)展時(shí)，I/O性能仍然是一個(gè)主要的瓶頸，尤其是在數(shù)據(jù)密集型的科學(xué)應(yīng)用中體現(xiàn)得非常明顯?？茖W(xué)應(yīng)用以數(shù)據(jù)模擬操作為主，其訪問特征是階段性地向并行文件系統(tǒng)輸出大量中間結(jié)果，這種周期性的寫請(qǐng)求會(huì)給并行文件系統(tǒng)帶來突發(fā)性的寫性能瓶頸。與此同時(shí)，高性能計(jì)算集群仍然以機(jī)械硬盤（HDD）作為主要存儲(chǔ)介質(zhì)。新型存儲(chǔ)設(shè)備固態(tài)硬盤（SSD）由于其對(duì)隨機(jī)訪問不敏感等特性，已經(jīng)被廣泛應(yīng)用在高性能計(jì)算環(huán)境當(dāng)中。當(dāng)前大多數(shù)的大規(guī)模高性能計(jì)算

2、集群，使用SSD與HDD結(jié)合的混合存儲(chǔ)系統(tǒng)，將SSD作為計(jì)算節(jié)點(diǎn)與HDD之間的高速緩沖。
　　以突發(fā)性寫緩沖（Burst Buffer）為代表的混合存儲(chǔ)系統(tǒng)需要使用大量的SSD來緩沖所有的中間數(shù)據(jù)，并且依賴難以預(yù)測(cè)的計(jì)算階段進(jìn)行數(shù)據(jù)刷新，系統(tǒng)的建設(shè)成本仍然很高。為解決突發(fā)性寫緩沖存在的缺陷，基于負(fù)載感知的寫緩沖系統(tǒng)，首先通過分析不同的科學(xué)應(yīng)用訪問模式在不同負(fù)載情況下引起隨機(jī)訪問的現(xiàn)象及原因，設(shè)計(jì)一種服務(wù)端負(fù)載感知的隨機(jī)識(shí)別方法。然