基于K-means算法的Web短文本聚類方法研究與應(yīng)用.pdf

1、目前，網(wǎng)絡(luò)已成為人們不斷獲取各種信息、交流互動的首要平臺。隨著網(wǎng)絡(luò)的不斷發(fā)展與普及，類似于評論形式的Web短文本也已充斥在網(wǎng)絡(luò)環(huán)境中，這些Web短文本包含著人們對新聞信息、網(wǎng)絡(luò)購物等各種對象的看法與觀點(diǎn)，是挖掘大眾觀點(diǎn)最方便、全面的渠道。而Web短文本一般都是大量出現(xiàn)，具有雜亂無章、褒貶不一且隨意性較強(qiáng)等特點(diǎn)，想要從這些海量的Web短文本中挖掘信息就要涉及到文本聚類技術(shù)。由于傳統(tǒng)的文本聚類方法僅僅適用于普通長文本，并不能根據(jù)Web短文本

2、的特點(diǎn)進(jìn)行有效聚類，因此想處理Web短文本的聚類，就需要對現(xiàn)有的聚類計算方法進(jìn)行改進(jìn)。
　　本文根據(jù)Web短文本的特點(diǎn)從傳統(tǒng)的K-means聚類算法入手，在云計算環(huán)境下結(jié)合Bootstrapping算法，提出一種基于K-means算法的Web短文本聚類方法，具體內(nèi)容如下：
　　（1）描述了國內(nèi)外的文本聚類發(fā)展現(xiàn)狀與發(fā)展趨勢，引出研究Web短文本聚類存在的必要性。闡述了文本聚類中的相關(guān)技術(shù)，探討目前抽取文本特征項(xiàng)的方法，介紹B

3、ootstrapping算法優(yōu)點(diǎn)，提出通過Bootstrapping算法提取網(wǎng)絡(luò)信息中文本特征項(xiàng)的方法。深入探討文本特征項(xiàng)表示的方法，將常用的TFIDF權(quán)重計算公式進(jìn)行改進(jìn)，用改進(jìn)后的公式對Web短文本進(jìn)行權(quán)重標(biāo)記，更能突出文本特征。研究經(jīng)典的K-means聚類算法，針對K-means算法在處理Web短文本時的不足之處，提出了一種基于K-means算法的Web短文本聚類方法。
　?。?）介紹云計算的優(yōu)點(diǎn)，闡述本文方法在Hadoop

4、平臺下運(yùn)行的主要思想及優(yōu)勢，并通過實(shí)驗(yàn)驗(yàn)證了本文方法的高準(zhǔn)確度與高效率。
　　本文主要創(chuàng)新點(diǎn)：
　　（1）運(yùn)用Bootstrapping算法提取網(wǎng)絡(luò)信息中的文本特征項(xiàng)，避免了人工選擇屬性詞的局限性，使得選取出的屬性短語更全面、更具有代表性。
　?。?）對標(biāo)記特征項(xiàng)文本的TFIDF公式進(jìn)行改進(jìn)，改進(jìn)后的公式可根據(jù)Web短文本的特點(diǎn)對聚類文本進(jìn)行權(quán)重計算，突出文本特征，從而提高聚類結(jié)果的精確度。
　?。?）針對Web