基于云計(jì)算的文本聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)文本已經(jīng)成為信息的主要載體以及人們生活中不可或缺的主要信息來(lái)源[1]。一方面，伴隨著Web2.0時(shí)代的到來(lái)，網(wǎng)絡(luò)上每天都在持續(xù)不斷地產(chǎn)生大量的文本數(shù)據(jù)，并且這個(gè)速度遠(yuǎn)遠(yuǎn)地超過了人們對(duì)信息的利用能力。如何從這些大量的文本資源中獲取有價(jià)值的信息和知識(shí)已經(jīng)成為了一個(gè)亟待解決的重大問題;另一方面，普通的個(gè)人計(jì)算機(jī)由于硬件與軟件的瓶頸限制，對(duì)于這些規(guī)模海量、多源異構(gòu)、高噪聲、強(qiáng)時(shí)效的數(shù)據(jù)根本無(wú)法在可承受的時(shí)間范圍

2、內(nèi)進(jìn)行處理分析，并且得到?jīng)Q策者需要的知識(shí)。而云計(jì)算模式的出現(xiàn)使得高性能的計(jì)算資源、軟件資源、硬件資源和服務(wù)資源得到共享，現(xiàn)在已經(jīng)成為信息領(lǐng)域的研究熱點(diǎn)之一。因此，研究基于分布式平臺(tái)的大文本集的聚類算法成為當(dāng)下數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)[2]。
　　在本論文中，我們首先實(shí)現(xiàn)了一種基于HIVE的分布式k-means算法的設(shè)計(jì)，先在Hadoop的分布式平臺(tái)上利用HIVE對(duì)結(jié)構(gòu)化的文本數(shù)據(jù)進(jìn)行整合，然后對(duì)K-means聚類算法進(jìn)行分析，發(fā)

3、現(xiàn)分布式計(jì)算對(duì)于K-means算法的加速比是有一定的提高的，這也是近年來(lái)很多論文進(jìn)行研究的算法。接著我們?cè)O(shè)計(jì)了基于Google實(shí)驗(yàn)室開發(fā)的一個(gè)分布式系統(tǒng)架構(gòu)——HadoopCURE聚類算法，實(shí)驗(yàn)分成四部分進(jìn)行，分別利用分布式平臺(tái)來(lái)計(jì)算實(shí)驗(yàn)參數(shù)值、TFIDF值、文本間余弦距離和具體聚類算法，然后將不同大小數(shù)據(jù)集在不同個(gè)數(shù)的slave節(jié)點(diǎn)上運(yùn)行的結(jié)果進(jìn)行了對(duì)比，發(fā)現(xiàn)這種算法的伸縮性比較良好，更加適合大數(shù)據(jù)。在進(jìn)行了兩個(gè)實(shí)驗(yàn)后，論文又將CUR