基于hadoop的微博文本分類及商業(yè)詞抽取.pdf

1、隨著計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，微博已經(jīng)普及成為國內(nèi)的一大新型媒體。微博用戶基數(shù)的迅速膨脹，加上信息的逐級傳播，與之俱來的問題是微博數(shù)據(jù)規(guī)模達(dá)到空前水平。面對微博服務(wù)迅猛發(fā)展中所產(chǎn)生的海量文本數(shù)據(jù)，如何準(zhǔn)確有效的從中定向發(fā)現(xiàn)并獲取所需要的有較高商業(yè)價值的資料和信息，進(jìn)而提高廣告精準(zhǔn)度成為各微博平臺數(shù)據(jù)研究處理的一大目標(biāo)，本文將對如何有效的從海量微博文本數(shù)據(jù)中發(fā)現(xiàn)和抽取商業(yè)關(guān)鍵詞進(jìn)行研究。為了更有針對性的進(jìn)行商業(yè)關(guān)鍵詞抽取，首先對海量

2、微博數(shù)據(jù)進(jìn)行了文本分類，一方面降低了單次數(shù)據(jù)處理的規(guī)模，另一方面對同類數(shù)據(jù)進(jìn)行處理研究將更有針對性。再對各個類別中文本的關(guān)鍵詞結(jié)合互聯(lián)網(wǎng)搜索引擎中的搜索權(quán)值進(jìn)行調(diào)權(quán)，有效提高了微博文本中商業(yè)關(guān)鍵詞抽取的精準(zhǔn)度。
　　由于微博文本數(shù)據(jù)具有總體數(shù)量多、單條簡短及內(nèi)容隨意性大等特性，在利用傳統(tǒng)分類方法及商業(yè)信息提取算法對其進(jìn)行處理時存在一定的局限性。本文考慮到單條微博文本信息簡短包含的有效特征少，且內(nèi)容比較口語化的特性，從相似詞及搭配詞

3、方面對文本的特征詞進(jìn)行了擴(kuò)展，盡量降低特征丟失的可能性；結(jié)合微博文本數(shù)量多及內(nèi)容隨意性大的特性，提出了一種基于特征詞類別分散性及分散程度的微博文本分類方法。考慮到微博自有的轉(zhuǎn)發(fā)數(shù)、評論數(shù)及海量規(guī)模等因素，本文對傳統(tǒng)的TF-IDF算法進(jìn)行了相關(guān)改進(jìn)，利用hadoop云計算平臺并以單個用戶的所有微博信息作為計算單元應(yīng)用改進(jìn)的TF-IDF算法，再綜合詞語在互聯(lián)網(wǎng)搜索引擎中的搜索權(quán)值進(jìn)行調(diào)權(quán)，實現(xiàn)了從海量數(shù)據(jù)中對具有商業(yè)價值關(guān)鍵詞的有效抽取。實