基于飛騰平臺的TOE優(yōu)化技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著諸如云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)等趨勢的廣泛興起，數(shù)據(jù)流量爆炸式增長，網(wǎng)絡(luò)帶寬也隨之快速增長，目前10G以太網(wǎng)已經(jīng)廣泛普及。怎樣能夠讓處理器能夠快速地捕獲和處理網(wǎng)絡(luò)數(shù)據(jù)包，仍是目前研究的一個熱點(diǎn)。在飛騰（FT）平臺，傳統(tǒng)TCP/IP協(xié)議棧要占用大量計(jì)算和訪存資源，主要表現(xiàn)在中斷上下文切換、協(xié)議處理和數(shù)據(jù)拷貝三方面。雖然國產(chǎn)飛騰處理器頻率雖然已經(jīng)從800HZ到1000HZ，但由于網(wǎng)絡(luò)帶寬的增長速度遠(yuǎn)高于CPU處理能力的提高，國產(chǎn)飛騰CPU在

2、處理頻繁的網(wǎng)絡(luò)事務(wù)時會存在以下問題：1）在接收大流量的數(shù)據(jù)時，網(wǎng)卡會產(chǎn)生大量的中斷，會造成大量的中斷上下文切換開銷2）頻繁的數(shù)據(jù)拷貝(先將接收的數(shù)據(jù)包拷貝到內(nèi)核空間，然后應(yīng)用程序通過系統(tǒng)調(diào)用將數(shù)據(jù)再次拷貝到用戶空間進(jìn)行處理）過程也增加系統(tǒng)總線負(fù)載和CPU處理周期；3）傳統(tǒng)的TCP/IP協(xié)議數(shù)據(jù)的處理過程比較繁瑣，這需要消耗大量CPU處理能力，在網(wǎng)絡(luò)負(fù)載較重導(dǎo)致CPU嚴(yán)重過載，容易成為系統(tǒng)IO瓶頸。
　　針對目前國產(chǎn)飛騰處理器主頻較

3、低，為了在處理大數(shù)據(jù)應(yīng)用的高速網(wǎng)絡(luò)環(huán)境中為了避免繁重的TCP/IP協(xié)議處理開銷造成系統(tǒng)端瓶頸的問題，本文引入了TCP/IP協(xié)議卸載引擎(TOE)技術(shù),把TCP/IP協(xié)議處理卸載到網(wǎng)卡中的協(xié)議卸載引擎上執(zhí)行，來減輕CPU處理網(wǎng)絡(luò)IO時的負(fù)載，CPU能夠及時處理一些關(guān)鍵實(shí)時程序，從而減少應(yīng)用程序延時并提高網(wǎng)絡(luò)處理效率。
　　首先，本文研究了TOE技術(shù)相關(guān)原理，并介紹了TOE技術(shù)的實(shí)現(xiàn)策略：部分卸載和全卸載。接著介紹了TOE硬件的幾種實(shí)

4、現(xiàn)方式：網(wǎng)絡(luò)處理器加固件的方式、專用集成電路(ASIC)芯片方式和可編程器件方式，并分析了其優(yōu)缺點(diǎn)，從成本和實(shí)現(xiàn)難易程度上來決策，本文采用了部分卸載的TOE網(wǎng)卡硬件。
　　其次，介紹了國產(chǎn)飛騰處理器和實(shí)現(xiàn)數(shù)據(jù)路徑卸載策略的TOE網(wǎng)卡硬件功能邏輯，鑒于其他平臺現(xiàn)有的實(shí)現(xiàn)方式復(fù)雜，應(yīng)用程序可移植性差等問題，對于部分卸載的TOE網(wǎng)卡，本文采用的是嵌入式的TOE軟件架構(gòu)方案，即在原始軟件協(xié)議棧的基礎(chǔ)上進(jìn)行修改和功能拓展，并基于飛騰平臺設(shè)計(jì)

5、了FT-TOE系統(tǒng)軟件，本文在國產(chǎn)飛騰平臺上設(shè)計(jì)并實(shí)現(xiàn)的FT-TOE系統(tǒng)軟件結(jié)構(gòu)比較簡單，實(shí)現(xiàn)較方便，主要包括TOE卸載模塊和TOE設(shè)備驅(qū)動模塊，并將于設(shè)備相關(guān)性較強(qiáng)的協(xié)議處理的功能代碼大部分轉(zhuǎn)移到 TOE網(wǎng)卡的驅(qū)動程序中來實(shí)現(xiàn)，而且對Kyoin-OS網(wǎng)絡(luò)協(xié)議棧的改動較小。
　　然后，分析了FT-TOE的連接卸載技術(shù)、報文高效傳輸機(jī)制、中斷加輪詢接收數(shù)據(jù)包(NAPI)等關(guān)鍵技術(shù)，接著對進(jìn)行協(xié)議處理過程中涉及到的另外兩個重要開銷：中

6、斷處理與切換開銷和數(shù)據(jù)拷貝進(jìn)行了分析與優(yōu)化。先是從從系統(tǒng)中斷處理的角度出發(fā)，結(jié)合國產(chǎn)FT多核處理器的硬件特性，提出了靜態(tài)中斷負(fù)載平衡方法，用來提高系統(tǒng)的中斷負(fù)載性能，這種靜態(tài)中斷負(fù)載均衡調(diào)度能夠顯著的均衡網(wǎng)卡的中斷負(fù)載。然后在數(shù)據(jù)進(jìn)行處理的過程中對內(nèi)核緩沖區(qū)到用戶緩緩沖區(qū)的一次拷貝做進(jìn)一步優(yōu)化，在FT-TOE軟件中實(shí)現(xiàn)了零拷貝數(shù)據(jù)傳輸技術(shù)。
　　最后，對FT-TOE系統(tǒng)進(jìn)行原型實(shí)現(xiàn)及性能測試，然后分別對基于國產(chǎn)飛騰多核處理器的中斷