云計(jì)算及若干數(shù)據(jù)挖掘算法的MapReduce化研究.pdf

1、云計(jì)算是2008年以來國際IT業(yè)熱炒的概念,近兩年來已開始在中國落地生根,是業(yè)界不可回避和逆轉(zhuǎn)的一大趨勢(shì)。我們可以把云計(jì)算看作是分布處理、并行處理以及網(wǎng)格計(jì)算的發(fā)展,其中并發(fā)、分布是云計(jì)算的關(guān)鍵,海量數(shù)據(jù)處理和海量計(jì)算是云計(jì)算的重頭戲。但是云計(jì)算本身只是一種思維模式,要真正發(fā)揮它的魔力,除了硬件以外,更重要的是還得有軟件的云計(jì)算平臺(tái)支撐以及可以在平臺(tái)上高效運(yùn)行的并行化程序。
　　 海量數(shù)據(jù)處理和海量計(jì)算是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)常見問

2、題,許多傳統(tǒng)數(shù)據(jù)挖掘算法往往只能適用小規(guī)模輸入數(shù)據(jù),當(dāng)輸入數(shù)據(jù)增大時(shí),它們往往會(huì)因計(jì)算量的增大而速度減慢甚至無法運(yùn)行,這無疑是許多傳統(tǒng)挖掘算法的瓶頸。云計(jì)算則恰好擅長處理大規(guī)模數(shù)據(jù)和大規(guī)模計(jì)算,如果我們能夠?qū)鹘y(tǒng)數(shù)據(jù)挖掘算法并行化,并將之部署到云計(jì)算平臺(tái)上運(yùn)行,數(shù)據(jù)挖掘領(lǐng)域中的上述瓶頸問題就能迎刃而解。而能否有效借助云計(jì)算平臺(tái)解決上述問題,關(guān)鍵在于能否合理地將相應(yīng)的數(shù)據(jù)挖掘算法并行化。
　　 所以本論文首先主要從分布式文件系統(tǒng)和

3、分布式編程模式兩大方向分析了Google、Sector/Sphere和Hadoop三大云計(jì)算平臺(tái)框架;然后從用戶角度出發(fā),綜合考慮文本內(nèi)容、人類遺忘性和話題流行度等因素,提出了一種基于網(wǎng)絡(luò)日志的中文熱點(diǎn)話題提取算法,并將其MapReduce化后部署到Hadoop云計(jì)算平臺(tái)上運(yùn)行,取得了良好的加速比效果,成功地提高了算法的運(yùn)行速度和擴(kuò)大了算法輸入數(shù)據(jù)的規(guī)模;最后通過分析傳統(tǒng)協(xié)同過濾算法、局部線性回歸算法和樸素貝葉斯算法的詳細(xì)流程、瓶頸問題