InfoSphere StreamS中圖處理中間件的設(shè)計與實現(xiàn).pdf

1、眾多實際的問題可以抽象為圖的模型,如網(wǎng)絡(luò)拓撲、社交網(wǎng)絡(luò)、網(wǎng)頁超鏈接等。針對這些應(yīng)用需求,業(yè)界和學(xué)術(shù)界開發(fā)了很多基于圖的算法、計算框架、開源軟件、函數(shù)庫,這在一段時間內(nèi)滿足了應(yīng)用的需求。這些方案的重點是提升離線計算的效率,不關(guān)注圖數(shù)據(jù)的實時處理、快速查詢,部分方案可處理數(shù)據(jù)的規(guī)模有限,但隨著當(dāng)前圖應(yīng)用規(guī)模的擴大和新需求的產(chǎn)生以及分布式處理、流式處理的發(fā)展,舊的這些解決方案已經(jīng)不能適應(yīng)當(dāng)前應(yīng)用的要求,因此設(shè)計一個高效的圖處理框架或工具是有意

2、義的。
　　基于IBM的流處理系統(tǒng)(InfoSphere StreamS),設(shè)計和實現(xiàn)了一個可以處理圖的中間件原型,運行于StreamS的應(yīng)用可以直接調(diào)用它的接口來進行與圖相關(guān)的處理。中間件在功能上,以圖的查詢?yōu)楹诵墓δ茏鲈O(shè)計,綜合考慮圖的更新、計算、查詢和流式處理;在圖的表示上,以頂點為核心,并設(shè)計了附屬結(jié)構(gòu),加快圖的遍歷和查詢,采用內(nèi)存預(yù)分配和緩回收等技術(shù)來優(yōu)化圖的基本操作的性能;在圖的計算上,采用Google的圖處理框架Pr

3、egel;在數(shù)據(jù)傳輸和容錯處理上,采用StreamS的內(nèi)部庫實現(xiàn)部分數(shù)據(jù)傳輸和容錯處理;在流處理方面,通過在緩存、通信、并行處理、在線計算方面做優(yōu)化來滿足流處理應(yīng)用的特點;在接口方面,根據(jù)StreamS的規(guī)范編寫交互接口,內(nèi)部實現(xiàn)對應(yīng)用透明。
　　通過實驗,驗證了原型系統(tǒng)在圖的存儲、計算和查詢方面的功能,并對系統(tǒng)進行了測試。在核心功能查詢性能上,中間件(三個工作結(jié)點)相對于采用通用函數(shù)庫實現(xiàn)的單機傳統(tǒng)的圖處理框架,性能提高130％