微博熱點話題檢測與跟蹤技術(shù)研究.pdf

1、話題檢測與跟蹤是指從海量數(shù)據(jù)中發(fā)現(xiàn)被最多討論的話題并在后續(xù)信息中跟進話題的發(fā)展變化狀態(tài)，為人們解決愈發(fā)嚴重的信息爆炸問題。話題檢測與跟蹤可以節(jié)省用戶時間，跟進事件發(fā)展動態(tài)，為輿情監(jiān)控提供數(shù)據(jù)支持，有重要的實際價值和安全意義。
　　隨著越來越多的用戶使用微博進行信息發(fā)布和話題討論，熱點話題展示也逐漸變成微博平臺的一個重要功能。由于微博的即時性很強，突發(fā)新聞在微博上的傳播速度很快，而且對于影響力較大的新聞事件，參與報道、轉(zhuǎn)發(fā)、評論的用

2、戶數(shù)量也很大，往往能夠先于傳統(tǒng)新聞媒體做出反應。因此，針對微博的特點，本文通過過濾無效微博，設計并實現(xiàn)了一種針對微博的熱點話題跟蹤及檢測方法，主要工作如下:
　　1)分析了微博特性，過濾了無效微博。微博用戶人群復雜，涵蓋范圍廣，差別大，內(nèi)容駁雜。通過分析微博用戶特征，包括用戶粉絲數(shù)與用戶每日發(fā)布微博數(shù)，過濾廣告用戶與僵尸用戶;通過分析微博內(nèi)容，過濾商家推廣活動，與用戶分享內(nèi)容，用戶參與的活動等大量對話題無貢獻的微博;通過分析分詞后

3、的微博數(shù)據(jù)，過濾包含詞數(shù)過多和過少的微博，去除無意義的過短文本，和重復過多的過長文本，有效過濾無效微博，降低計算復雜度。
　　2)設計并實現(xiàn)了基于時間特性的微博熱點話題檢測算法。將微博按時間遞增順序處理，通過改進Single-Pass聚類算法，包括相似度計算方法的改進，結(jié)合用戶影響力的話題向量更新方法的改進，進行初步話題檢測;利用FP-Growth頻繁項集發(fā)現(xiàn)算法，挖掘頻繁特征詞集，修正SP算法的錯誤;利用改進的K-MEDOIDS