具有數(shù)據(jù)依賴的對(duì)等高性能計(jì)算關(guān)鍵技術(shù)研究.pdf

1、對(duì)等高性能計(jì)算系統(tǒng)為解決在任務(wù)級(jí)并行的計(jì)算密集型對(duì)等高性能應(yīng)用所提供的潛在計(jì)算能力能夠超過(guò)以往任何計(jì)算系統(tǒng)，因而受到越來(lái)越多的關(guān)注。然而，現(xiàn)有的典型對(duì)等高性能計(jì)算系統(tǒng)由于不支持具有數(shù)據(jù)依賴關(guān)系的對(duì)等高性能應(yīng)用而受到限制。因此，有必要研究新的對(duì)等高性能計(jì)算技術(shù)，使對(duì)等高性能計(jì)算系統(tǒng)支持具有數(shù)據(jù)依賴關(guān)系的應(yīng)用，從而達(dá)到推廣對(duì)等高性能計(jì)算系統(tǒng)的目的。 為了支持任務(wù)間具有數(shù)據(jù)依賴關(guān)系的對(duì)等高性能應(yīng)用，重點(diǎn)研究對(duì)等高性能計(jì)算中的計(jì)算資源管理

2、策略、任務(wù)調(diào)度機(jī)制和編程模型這三種關(guān)鍵技術(shù)；基于這些技術(shù)提出對(duì)等高性能計(jì)算系統(tǒng)P2HP-2（A Peer-to-peer based High performance computing Platform-Ⅱ），并結(jié)合一個(gè)運(yùn)行實(shí)例，對(duì)系統(tǒng)的總體性能進(jìn)行綜合評(píng)價(jià)。 根據(jù)具有數(shù)據(jù)依賴關(guān)系的任務(wù)對(duì)資源分配的要求，通過(guò)對(duì)等網(wǎng)絡(luò)Gtapestry管理對(duì)等高性能計(jì)算資源。Gtapestry是一個(gè)基于無(wú)結(jié)構(gòu)工作組的結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)，從兩方面考

3、慮網(wǎng)絡(luò)匹配要求：其一是對(duì)象分派與區(qū)域網(wǎng)絡(luò)構(gòu)造之間的匹配，其二是虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)之間的鄰近匹配。為了提高路由效率，Gtapestry采用一個(gè)對(duì)象指針備份機(jī)制，即在任務(wù)的發(fā)布路徑上備份任務(wù)對(duì)象地址，若在路由過(guò)程中遇到目標(biāo)對(duì)象的備份地址，則根據(jù)該地址直接重定向到對(duì)象的實(shí)際寄存節(jié)點(diǎn)。 為了對(duì)具有數(shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行調(diào)度，提出了一種協(xié)商協(xié)同任務(wù)調(diào)度策略，它根據(jù)任務(wù)間的數(shù)據(jù)依賴關(guān)系和計(jì)算資源的局部鄰居表，通過(guò)局部協(xié)商的方式對(duì)依賴任務(wù)進(jìn)行分

4、派和調(diào)度。其中，依賴任務(wù)的分派通過(guò)協(xié)商機(jī)制完成，即節(jié)點(diǎn)將當(dāng)前任務(wù)的依賴任務(wù)賦予優(yōu)先級(jí)，并在與它的鄰居節(jié)點(diǎn)進(jìn)行協(xié)商后，將依賴任務(wù)分派給其中的一個(gè)鄰居節(jié)點(diǎn)。任務(wù)的運(yùn)行通過(guò)協(xié)同調(diào)度機(jī)制完成，即在設(shè)置好任務(wù)運(yùn)行所需的程序、參數(shù)和依賴數(shù)據(jù)后，運(yùn)行時(shí)系統(tǒng)對(duì)任務(wù)進(jìn)行非搶占式單任務(wù)調(diào)度。同時(shí)，各個(gè)計(jì)算節(jié)點(diǎn)根據(jù)當(dāng)前的任務(wù)負(fù)載，通過(guò)局部協(xié)商方式動(dòng)態(tài)調(diào)整任務(wù)的分配，從而實(shí)現(xiàn)動(dòng)態(tài)負(fù)載平衡。 為了對(duì)具有數(shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行并行化編程，以任務(wù)與運(yùn)行時(shí)系統(tǒng)的

5、交互模型為基礎(chǔ)，研究了一種單邊消息通信編程模型OMP（One-sided Message Passing programming model），它由通信庫(kù)和軟件開發(fā)包組成。通信庫(kù)提供了一種單邊消息通信機(jī)制，并在此基礎(chǔ)上實(shí)現(xiàn)了軟件開發(fā)包；應(yīng)用程序員利用開發(fā)包提供的應(yīng)用編程接口（API，Application Programming Interface），可以通過(guò)模塊分割的方式對(duì)串行程序進(jìn)行分布式改造?；诰幊棠Ｐ蚈MP，依賴任務(wù)可以利用它

6、所提供的應(yīng)用編程接口，在應(yīng)用級(jí)主動(dòng)發(fā)起數(shù)據(jù)請(qǐng)求，進(jìn)而結(jié)合Gtapestry的節(jié)點(diǎn)通信機(jī)制和協(xié)商協(xié)同任務(wù)調(diào)度策略，滿足任務(wù)對(duì)依賴數(shù)據(jù)的請(qǐng)求。 為了驗(yàn)證基于Gtapestry的計(jì)算資源管理策略、協(xié)商協(xié)同任務(wù)調(diào)度機(jī)制和單邊消息通信編程模型這三種對(duì)等高性能計(jì)算技術(shù)能夠支持具有數(shù)據(jù)依賴關(guān)系的應(yīng)用，利用它們實(shí)現(xiàn)了對(duì)等高性能計(jì)算系統(tǒng)P2HP-2，并針對(duì)蛋白質(zhì)折疊應(yīng)用，提出并實(shí)現(xiàn)了具有靜態(tài)樹狀任務(wù)依賴關(guān)系的1-level-core并行Thread

7、ing算法，依據(jù)該并行算法對(duì)系統(tǒng)進(jìn)行測(cè)試和綜合性能分析。 與結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)Tapestry相比，Gtapestry更加穩(wěn)定，且路由效率更高，而動(dòng)態(tài)維護(hù)開銷更少，通過(guò)理論分析和實(shí)驗(yàn)，表明基于Gtapestry的計(jì)算資源管理策略能夠滿足依賴任務(wù)之間的通信需求，并且通信延遲較?。徊⑶覅f(xié)商協(xié)同任務(wù)調(diào)度機(jī)制能夠?qū)哂袛?shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行調(diào)度，它能夠自適應(yīng)于動(dòng)態(tài)計(jì)算環(huán)境。最后，綜合性能分析驗(yàn)證了基于Gtapestry的計(jì)算資源管理策略、協(xié)