基于志愿計(jì)算的大規(guī)模網(wǎng)絡(luò)分布式分析架構(gòu)研究.pdf

1、近些年來(lái)，隨著復(fù)雜網(wǎng)絡(luò)科學(xué)的不斷發(fā)展，學(xué)術(shù)界對(duì)于復(fù)雜網(wǎng)絡(luò)的研究逐漸深入，因?yàn)閺?fù)雜網(wǎng)絡(luò)的研究對(duì)很多領(lǐng)域的研究都具有指導(dǎo)意義，像其在社會(huì)學(xué)中展現(xiàn)出的價(jià)值或者對(duì)于傳播學(xué)的研究意義，其應(yīng)用也越來(lái)越廣泛。但是隨著社會(huì)進(jìn)步以及科技發(fā)展，網(wǎng)絡(luò)規(guī)模呈現(xiàn)出指數(shù)型增長(zhǎng)，數(shù)據(jù)規(guī)模更加龐大，同時(shí)也面臨著數(shù)據(jù)處理緩慢甚至計(jì)算不出的問(wèn)題，如何更快更高效的處理這些數(shù)據(jù)成為了近期復(fù)雜網(wǎng)絡(luò)研究的重大挑戰(zhàn)之一。
　　并行計(jì)算技術(shù)為復(fù)雜網(wǎng)絡(luò)的高效計(jì)算提供了可能。當(dāng)前的

2、一些主流計(jì)算框架由于具有一定的限制，比如MapReduce在迭代次數(shù)多的情況下并沒(méi)有展現(xiàn)出很好的優(yōu)勢(shì)，而復(fù)雜網(wǎng)絡(luò)的計(jì)算的特點(diǎn)之一就是具有較多的迭代次數(shù)，因此在復(fù)雜網(wǎng)絡(luò)的計(jì)算方面并沒(méi)有顯示出很好的優(yōu)勢(shì)。志愿計(jì)算的核心思想就是將存在于網(wǎng)絡(luò)中的空閑資源利用，共同參與分布式計(jì)算。
　　本文基于志愿計(jì)算的思想，以ICE中間件作為通信媒介，構(gòu)建了針對(duì)于大規(guī)模復(fù)雜網(wǎng)絡(luò)計(jì)算的松耦合分布式計(jì)算框架，用于對(duì)復(fù)雜網(wǎng)絡(luò)的分析和計(jì)算，并將其命名為DCBV框

3、架?？蚣苤饕捎昧巳蝿?wù)隊(duì)列的思想和方法，在Master/Worker模式的基礎(chǔ)上進(jìn)行設(shè)計(jì)，增加中間層MiddleWare，將網(wǎng)絡(luò)內(nèi)的多臺(tái)空閑機(jī)器動(dòng)態(tài)的結(jié)合起來(lái)共同參與復(fù)雜網(wǎng)絡(luò)的分析和計(jì)算。除此之外，基于對(duì)平均最短路徑算法的改進(jìn)，對(duì)設(shè)計(jì)的DCBV計(jì)算框架的原型實(shí)現(xiàn)進(jìn)行了實(shí)驗(yàn)和評(píng)估。
　　實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的框架可以更加高效的計(jì)算出復(fù)雜網(wǎng)絡(luò)的相關(guān)參數(shù)，并且有很好的容錯(cuò)性，可以隨時(shí)調(diào)整計(jì)算節(jié)點(diǎn)的個(gè)數(shù)，同時(shí)可以隨時(shí)動(dòng)態(tài)調(diào)整每個(gè)計(jì)算節(jié)點(diǎn)