微博熱點話題感知關鍵技術的研究.pdf

1、微博平臺作為WEB2.0時代的新產物，近年來發(fā)展迅速，已經成為了社會輿情傳播的重要載體。對微博上輿論信息的挖掘、提取、分析和監(jiān)管也就成了重中之重。微博熱點話題感知不但可以挖掘熱點詞匯、熱門事件，還能了解社會動態(tài)和民心所向，具有很強的社會意義和現實意義。
　　本文的主要工作如下:
　　(1)針對微博文本中存在著的大量廣告微博和其余噪聲微博，本文在文本聚類模塊之前加入了廣告過濾模塊和噪聲過濾模塊，改進了傳統的文本話題感知機制，提

2、升了文本聚類的效率。根據廣告用戶共同的行為特征，本文使用了C4.5決策樹分類算法對微博進行了過濾，并對C4.5算法的連續(xù)屬性分割閾值選擇進行了優(yōu)化。在噪聲過濾模塊中，本文提出了基于特征值詞頻的噪聲記分過濾算法，將不含高頻特征詞條的微博文本視為噪聲濾除。為了防止特征值集合過大，又考慮到微博話題的實時性，給文本詞頻統計的過程加上了滑動窗口。此外，由于不同詞性的詞對表征話題具有不同的貢獻度，本文在記分算法中對詞條進行了詞性加權。該記分算法能對

3、噪聲微博進行有效過濾。
　　(2)在話題感知模塊中，針對微博話題的時效性，本文在傳統的夾角余弦距計算方法中加入了一個時間參數，提升了文本相似度計算的準確性。在文本聚類模塊中，針對K-means聚類算法的K值和話題中心難以確立的問題，本文在聚類算法之前加入了一個基于特征值集合的初步劃分過程，優(yōu)化了K-means算法的K值確立和中心選擇方法，提升了算法的性能。傳統的微博話題熱度評估算法只考慮了用戶的參與度，本文在此基礎上結合了微博傳播