面向高并發(fā)數據訪問的并行I-O性能優(yōu)化機制研究.pdf

1、在當今大數據時代下，很多科學計算應用正從傳統的計算密集型向數據密集型模式進行轉變。在這些科學計算應用中，多個進程同時訪問一個共享文件是一種非常常見的并行I/O訪問模式，其I/O性能始終是制約并行程序運行效率的一個重要因素，為了提高程序性能，針對這種訪問模式進行I/O優(yōu)化的MPI-IO庫被廣泛采用，得到了良好的效果。與此同時，為了適應大數據存儲與訪問需求，諸如Lustre等并行文件系統也被越來越多地部署在高性能計算環(huán)境中，這為傳統并行I/

2、O中高并發(fā)數據訪問優(yōu)化帶來了新的挑戰(zhàn)。
　　為了解決新環(huán)境下面臨的并行I/O性能問題，面向高并發(fā)數據訪問的并行I/O性能優(yōu)化系統，通過采用將應用I/O訪問模式與數據物理布局相匹配的設計思路，重新組織I/O請求順序，使得I/O代理進程與I/O節(jié)點之間形成“一對一”的匹配模式，從而減少高并發(fā)數據訪問時的數據訪問競爭。該優(yōu)化系統先通過獲取分析應用I/O訪問模式，從而將其轉換成數據物理存儲訪問信息。然后綜合兩者信息，設計實現優(yōu)化的代理進程

3、選擇方法與文件域劃分方式，使得各I/O節(jié)點都能保證均衡的I/O負載，同時將待訪問的文件數據段按鎖邊界對齊，減少鎖競爭的發(fā)生。最后對I/O請求進行重新組織調整，得到最優(yōu)的請求順序，從而保證將一個大的數據請求分成若干子請求時，在完成每個子請求的迭代過程中，不會產生資源訪問競爭。這種基于迭代過程這一更細的并行粒度的優(yōu)化策略，為I/O請求重組織提供了更高的靈活性，保證減少數據訪問競爭的同時，不會引入額外的進程間通信開銷。
　　基于Lust