gpu異構(gòu)編程研究綜述

1、GPU 異構(gòu)編程研究綜述摘 要近年來(lái)，異構(gòu)系統(tǒng)硬件飛速發(fā)展。為了解決相應(yīng)的編程和執(zhí)行效率問(wèn)題，GPU 異構(gòu)并行編程已被廣泛使用和研究。本文從異構(gòu)并行編程接口與編譯/運(yùn)行時(shí)支持系統(tǒng)的角度總結(jié)了異構(gòu)并行編程模型最新的研究進(jìn)展，簡(jiǎn)單介紹現(xiàn)在為異構(gòu)架構(gòu)和上層應(yīng)用帶來(lái)的技術(shù)挑戰(zhàn)提供的相應(yīng)的解決方案。最后結(jié)合目前的研究現(xiàn)狀以及異構(gòu)系統(tǒng)的發(fā)展，提出了對(duì)異構(gòu)并行編程的未來(lái)發(fā)展方向的看法。關(guān)鍵詞：異構(gòu)系統(tǒng)，編程，上層應(yīng)用， 關(guān)鍵詞：異構(gòu)系統(tǒng)，編程，

2、上層應(yīng)用，GPU GPU一 、 緒論 緒論（一）前沿發(fā)展介紹 ）前沿發(fā)展介紹近年來(lái)，處理器從單核轉(zhuǎn)變到多核，芯片的并行計(jì)算能力得到增強(qiáng)，性能顯著提高[1]。然而由于結(jié)構(gòu)復(fù)雜，傳統(tǒng)處理器遭遇了嚴(yán)重的功耗瓶頸，無(wú)法通過(guò)增加核數(shù)繼續(xù)帶來(lái)性能提升。在這樣的背景下，出現(xiàn)了 CPU 與一個(gè)或多個(gè)加速設(shè)備在片上或主板上相互連接組成的異構(gòu)系統(tǒng)，以進(jìn)一步增強(qiáng)計(jì)算能力：CPU 作為控制設(shè)備，負(fù)責(zé)復(fù)雜的控制、調(diào)度等工作；而加速設(shè)備則負(fù)責(zé)大規(guī)模的并行計(jì)算或?qū)I(yè)

3、領(lǐng)域的計(jì)算任務(wù)。加速設(shè)備通常在指令集、微結(jié)構(gòu)、功能或計(jì)算能力等方面與 CPU 有很大區(qū)別，GPU 是目前最為常見(jiàn)的加速設(shè)備之一。GPU 在片上集成了幾十甚至上百個(gè)每指令耗能(energy per instruction 簡(jiǎn)稱 EPI)較低的簡(jiǎn)單核，它不包含分支預(yù)測(cè)、亂序執(zhí)行等耗費(fèi)資源的模塊，借助高度的并行性隱藏單個(gè)任務(wù)的延遲，達(dá)到遠(yuǎn)高于 CPU 的計(jì)算吞吐量。除 GPU 外，可重構(gòu)硬件如(FPGA)也常作為加速設(shè)備。目前，異構(gòu)系統(tǒng)已十分

4、普遍，遍布于服務(wù)器、個(gè)人電腦、嵌入式終端中，異構(gòu)系統(tǒng)通過(guò)高速互聯(lián)相互連接可構(gòu)成異構(gòu)集群，而異構(gòu)集群通過(guò)互聯(lián)網(wǎng)絡(luò)連接在一起可構(gòu)成大規(guī)模的云服務(wù)環(huán)。在 2013 聯(lián)架構(gòu)兩方面都更加復(fù)雜化和多樣化，這使得異構(gòu)并行編程模型在建立平臺(tái)抽象方面遇到了巨大的困難，在任務(wù)劃分、任務(wù)映射、數(shù)據(jù)分布、同步、通信等方面都面臨著新的技術(shù)挑戰(zhàn)。任務(wù)劃分與任務(wù)映射面臨的新問(wèn)題：異構(gòu)系統(tǒng)中設(shè)備之間并行計(jì)算能力不同。同構(gòu)系統(tǒng)中的計(jì)算設(shè)備為完全相同的多核 CPU，盡管同

5、一 CPU 不同核之間、同一核內(nèi)的 SIMD 部件等可承擔(dān)粒度不同的并行計(jì)算任務(wù)，但是不同設(shè)備具有相同的微結(jié)構(gòu)，其并行計(jì)算能力是完全相同的。而在異構(gòu)系統(tǒng)中，不同設(shè)備(如 CPU GPU，F(xiàn)PGA)的微結(jié)構(gòu)具有本質(zhì)差異，其并行計(jì)算模式與并行計(jì)算能力完全不同，設(shè)備的特長(zhǎng)也完全不同，這種設(shè)備間并行計(jì)算能力的差異，使得任務(wù)映射與任務(wù)劃分不再是均一的，而是具有顯著特異性的，這也更利于表達(dá)實(shí)際應(yīng)用的特點(diǎn)。數(shù)據(jù)分布與通信面臨的新問(wèn)題：異構(gòu)系統(tǒng)中加

6、速設(shè)備內(nèi)數(shù)據(jù)分布可配置、設(shè)備間數(shù)據(jù)通信渠道多樣。從編程模型的角度看，同構(gòu)系統(tǒng)中，CPU 片內(nèi)存儲(chǔ)是軟件透明的 cache 結(jié)構(gòu)，片外存儲(chǔ)則遵從共享內(nèi)存模型，除訪問(wèn)延遲可能不同(例如 NUMA 架構(gòu))之外，不存在其他的差異性。因此在同構(gòu)系統(tǒng)中，數(shù)據(jù)僅可分配在片外內(nèi)存中，具有存儲(chǔ)位置單一的特點(diǎn)，也不需要進(jìn)行顯式通信。但在異構(gòu)系統(tǒng)中，加速設(shè)備片內(nèi)通常包含軟件可分配的快速局部存儲(chǔ)(如 SPM)；而設(shè)備間的連接方式則差異很大，目前，CPU 與一

7、個(gè)或多個(gè)加速設(shè)備多數(shù)通過(guò)PCIe 連接，也有將它們集成在一個(gè)芯片內(nèi)的嘗試，例如 AMD 提出的HSA(heterogeneous system architecture)，這使得加速設(shè)備可能無(wú)法采用與 CPU 相同的方式完成地址映射，導(dǎo)致它們的虛存空間分立，存在某一設(shè)備無(wú)法訪問(wèn)另一設(shè)備片外存儲(chǔ)的問(wèn)題。因此在異構(gòu)系統(tǒng)中，數(shù)據(jù)可以被分配在 CPU 和加速設(shè)備片外內(nèi)存、加速設(shè)備片內(nèi)多層次局部存儲(chǔ)等多個(gè)位置，數(shù)據(jù)分布問(wèn)題變得十分復(fù)雜；設(shè)備間的