基于多fpga的片上網(wǎng)絡(luò)模擬平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)

1、<p>　　基于多FPGA的片上網(wǎng)絡(luò)模擬平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)</p><p>　　摘要：針對(duì)片上網(wǎng)絡(luò)的設(shè)計(jì)和優(yōu)化問題，提出了一種基于多FPGA的片上網(wǎng)絡(luò)模擬平臺(tái)結(jié)構(gòu)，用于加速片上網(wǎng)絡(luò)的功能驗(yàn)證和性能評(píng)估.通過層次化設(shè)計(jì)和分布式流量管理器等技術(shù)，有效地提高了系統(tǒng)的靈活性，加速了片上網(wǎng)絡(luò)的設(shè)計(jì)空間搜索.實(shí)驗(yàn)結(jié)果表明，多FPGA模擬平臺(tái)不僅相對(duì)于傳統(tǒng)的軟件仿真具有500～10 000倍的加速比，與其他片上網(wǎng)絡(luò)模擬平

2、臺(tái)相比也具有明顯的速度優(yōu)勢(shì). </p><p>　　關(guān)鍵詞：現(xiàn)場(chǎng)可編程門陣列（FPGA）；模擬平臺(tái)；片上網(wǎng)絡(luò)；軟硬件 </p><p>　　中圖分類號(hào)：TN402 文獻(xiàn)標(biāo)識(shí)碼：A </p><p>　　隨著應(yīng)用的發(fā)展和芯片制造水平的提高，片上系統(tǒng)單位面積上計(jì)算核心的數(shù)量呈現(xiàn)出近似指數(shù)的增長趨勢(shì)[1].進(jìn)入65 nm工藝后，片上連線延時(shí)的比重迅速上升，甚至超過邏輯延時(shí)

3、，這導(dǎo)致基于總線的傳統(tǒng)互連結(jié)構(gòu)無法滿足復(fù)雜系統(tǒng)芯片的設(shè)計(jì)需求[2].高性能的系統(tǒng)級(jí)芯片強(qiáng)調(diào)良好的邏輯和物理局部性，以降低芯片的全局連線延時(shí).片上網(wǎng)絡(luò)（NetworksonChip）相對(duì)于總線具有良好的伸縮性和能量效率，能夠有效地緩解全局連線在深亞微米工藝條件下所引入的延時(shí)和功耗等問題，因而被認(rèn)為是一種適合未來多核系統(tǒng)芯片大規(guī)模擴(kuò)展的片上互連和通信結(jié)構(gòu)[3]. </p><p>　　片上網(wǎng)絡(luò)擁有龐大的設(shè)計(jì)空間，其研

4、發(fā)周期覆蓋拓?fù)浣Y(jié)構(gòu)、路由算法、交換策略、流控制機(jī)制、服務(wù)質(zhì)量、通信協(xié)議和網(wǎng)絡(luò)接口等多個(gè)方面的設(shè)計(jì)和實(shí)現(xiàn)問題[4].因此如何快速地驗(yàn)證片上網(wǎng)絡(luò)硬件結(jié)構(gòu)的功能，并準(zhǔn)確地評(píng)估其性能和實(shí)現(xiàn)開銷成為設(shè)計(jì)者面臨的嚴(yán)峻挑戰(zhàn).基于FPGA的硬件模擬技術(shù)[5-7]相對(duì)于典型的軟件仿真技術(shù)[8-9]具有明顯的速度優(yōu)勢(shì)，尤其適合大規(guī)模片上網(wǎng)絡(luò)設(shè)計(jì)空間的深度搜索. </p><p>　　現(xiàn)有的片上網(wǎng)絡(luò)FPGA模擬平臺(tái)大多采用片上微處理器

5、，配合專用的硬件功能單元，為目標(biāo)網(wǎng)絡(luò)產(chǎn)生模擬環(huán)境中所需要的各種流量模型[5].這種方法實(shí)現(xiàn)復(fù)雜，硬件資源開銷較大，且模擬平臺(tái)的性能往往受到流量模型的制約[6]，缺乏設(shè)計(jì)和移植的靈活性.針對(duì)這一點(diǎn)，本文提出并實(shí)現(xiàn)了一種基于多FPGA的高性能片上網(wǎng)絡(luò)模擬平臺(tái)結(jié)構(gòu)，采用了層次化設(shè)計(jì)和軟件可重構(gòu)的分布式流量管理器等技術(shù)，降低了系統(tǒng)硬件設(shè)計(jì)的復(fù)雜度，減小了流量管理系統(tǒng)與片上網(wǎng)絡(luò)內(nèi)核的耦合度，大大提高了片上網(wǎng)絡(luò)功能驗(yàn)證和性能評(píng)估的靈活性. <

6、/p><p>　　湖南大學(xué)學(xué)報(bào)（自然科學(xué)版）2013年 </p><p>　　第6期趙淳等：基于多FPGA的片上網(wǎng)絡(luò)模擬平臺(tái)設(shè)計(jì)和實(shí)現(xiàn) </p><p>　　1 片上網(wǎng)絡(luò)模擬平臺(tái) </p><p>　　片上網(wǎng)絡(luò)模擬平臺(tái)的系統(tǒng)結(jié)構(gòu)框架如圖1所示，包括上位機(jī)和基于多FPGA的原型驗(yàn)證引擎兩大部分，兩者之間可以通過PCIe，Ethernet等接口實(shí)現(xiàn)高

7、速的數(shù)據(jù)交換.模擬平臺(tái)自頂向下可以劃分為系統(tǒng)軟件層、軟/硬件接口層和硬件結(jié)構(gòu)層3個(gè)抽象層次，為結(jié)構(gòu)設(shè)計(jì)者提供一套完整的多目標(biāo)、自動(dòng)化片上網(wǎng)絡(luò)功能驗(yàn)證和性能評(píng)估環(huán)境. </p><p>　　硬件結(jié)構(gòu)層主要包括多片多種形式互連（普通單端、LVDS和千兆級(jí)高速串行總線等）的大容量FPGA芯片，為系統(tǒng)中的硬件功能單元提供充足的實(shí)現(xiàn)空間.完整的片上網(wǎng)絡(luò)硬件原型包括網(wǎng)絡(luò)內(nèi)核、片間網(wǎng)絡(luò)接口、分布式片上流量管理器和中央控制器等模

8、塊.用戶可以通過每顆FPGA芯片上實(shí)現(xiàn)的中央控制器，利用系統(tǒng)應(yīng)用層的軟件服務(wù)，直接對(duì)流量管理器進(jìn)行讀/寫操作，完成對(duì)其功能的軟重構(gòu).軟/硬件接口層由設(shè)備（PCIe、Ethernet）驅(qū)動(dòng)程序構(gòu)成，為上層軟件提供了一組可擴(kuò)展的專用API，將上層的軟件服務(wù)映射為對(duì)底層硬件的訪問操作，保證系統(tǒng)軟件層和硬件結(jié)構(gòu)層之間的正確交互.系統(tǒng)應(yīng)用層包括在上位機(jī)運(yùn)行的基于高級(jí)語言（SystemC）的仿真引擎[10]和基于腳本語言的控制引擎.其中仿真引擎用于

9、產(chǎn)生下載到流量管理器的模型信息，以及分析處理由流量管理器讀回的統(tǒng)計(jì)信息；控制引擎則用于控制整個(gè)模擬流程，協(xié)調(diào)和管理各部分系統(tǒng)應(yīng)用軟件功能，以及發(fā)起和終止用戶對(duì)底層硬件的訪問操作等. </p><p>　　2流量管理器軟/硬件實(shí)現(xiàn) </p><p>　　在片上網(wǎng)絡(luò)的功能驗(yàn)證和性能評(píng)估過程中，流量的產(chǎn)生、收集和分析處理一直都是設(shè)計(jì)者所面臨的最棘手的問題.如何設(shè)計(jì)結(jié)構(gòu)簡(jiǎn)單，靈活度高的片上流量管理

10、器，以實(shí)現(xiàn)對(duì)片上網(wǎng)絡(luò)全面的功能覆蓋和大范圍的設(shè)計(jì)空間搜索，成為整個(gè)模擬平臺(tái)的設(shè)計(jì)重點(diǎn)和難點(diǎn).為了提高平臺(tái)的效率和靈活性，避免網(wǎng)表文件的反復(fù)生成和下載，本文設(shè)計(jì)了軟件可重構(gòu)的分布式片上流量管理器，通過軟件配置和控制指令解析的方式為片上網(wǎng)絡(luò)提供豐富的流量模型. </p><p>　　2.1流量管理器和中央控制器 </p><p>　　流量管理器作為片上網(wǎng)絡(luò)的終端功能單元，模擬實(shí)際系統(tǒng)中的計(jì)算資

11、源節(jié)點(diǎn)，按照一定的時(shí)間和空間分布規(guī)律產(chǎn)生并向網(wǎng)絡(luò)注入數(shù)據(jù)，同時(shí)接收并校驗(yàn)由其他終端發(fā)往本地的數(shù)據(jù).流量管理器包括兩組單向的總線接口.其中用戶接口用于連接片上網(wǎng)絡(luò)中央控制器，為用戶提供“控制指令”的下載和“狀態(tài)數(shù)據(jù)”回傳服務(wù)，接口滿足簡(jiǎn)單的存儲(chǔ)器讀寫規(guī)范.系統(tǒng)接口用于連接路由節(jié)點(diǎn)，接口滿足片上網(wǎng)絡(luò)物理鏈路的通信規(guī)范.每個(gè)路由節(jié)點(diǎn)可以根據(jù)其空閑物理鏈路的數(shù)量連接一個(gè)或多個(gè)流量管理器.流量管理器內(nèi)部用于存儲(chǔ)控制指令和狀態(tài)數(shù)據(jù)的存儲(chǔ)空間被線性地

12、映射到64位地址所覆蓋的空間范圍內(nèi)，允許系統(tǒng)軟件層以直接映射的方式對(duì)其進(jìn)行訪問.整個(gè)硬件系統(tǒng)結(jié)構(gòu)如圖2所示. </p><p>　　流量管理器發(fā)送和接收通道的結(jié)構(gòu)如圖3所示，其結(jié)構(gòu)劃分為發(fā)送通道和接收通道，分別處理網(wǎng)絡(luò)通信事務(wù)的發(fā)送和接收.其中發(fā)送通道由一塊用戶只寫、網(wǎng)絡(luò)只讀的指令存儲(chǔ)器和一個(gè)發(fā)送控制狀態(tài)機(jī)構(gòu)成.指令存儲(chǔ)器的每一項(xiàng)存儲(chǔ)一條流量控制指令，對(duì)應(yīng)一項(xiàng)網(wǎng)絡(luò)發(fā)送事務(wù)，其內(nèi)容由目標(biāo)地址、事務(wù)類型、負(fù)載長度、事

13、務(wù)編號(hào)、發(fā)送時(shí)間等字段構(gòu)成.發(fā)送控制狀態(tài)機(jī)每次從指令存儲(chǔ)器中讀出一條流量控制指令，對(duì)其進(jìn)行解析并完成一個(gè)完整網(wǎng)絡(luò)數(shù)據(jù)包的重建，同時(shí)在其結(jié)尾添加校驗(yàn)信息，在流控機(jī)制的約束下，將數(shù)據(jù)包有序地注入到片上網(wǎng)絡(luò)中.接收通道由一塊用戶只讀、網(wǎng)絡(luò)只寫的數(shù)據(jù)存儲(chǔ)器和一個(gè)接收控制狀態(tài)機(jī)構(gòu)成.當(dāng)流量管理器接收到一個(gè)來自其他終端的網(wǎng)絡(luò)數(shù)據(jù)包時(shí)，接收控制狀態(tài)機(jī)首先對(duì)整個(gè)數(shù)據(jù)包的內(nèi)容進(jìn)行解析和校驗(yàn)，從中還原出其基本控制信息如源地址、事務(wù)類型、負(fù)載長度和事務(wù)編號(hào)等