基于優(yōu)化TF-IDF與詞共現(xiàn)的微博熱點話題發(fā)現(xiàn)研究.pdf

1、微博熱點話題發(fā)現(xiàn)是指從大量微博中挖掘出話題，并根據(jù)話題熱度評估方法選出熱點話題。它可以幫助人們從海量的信息中，便捷地選出用戶感興趣或者需要的信息，并對政府輿情指導、信息安全、金融判斷等領域也有很大價值。本文對微博熱點話題發(fā)現(xiàn)的現(xiàn)狀進行分析和總結，發(fā)現(xiàn)目前存在文本分詞錯誤率較高、主題詞提取準確性不高以及選擇的話題熱度評估方式不同的問題。針對這些問題，本文重點研究了以下三個方面：
　　第一，對中文分詞和新詞發(fā)現(xiàn)技術進行深入探討，發(fā)現(xiàn)目

2、前的分詞工具分詞后出會現(xiàn)很多單字碎片，尤其是將新詞分詞后，導致與原意非常不同。本文為了解決分詞錯誤率較高的問題，提出了基于規(guī)則和N-Gram模型發(fā)現(xiàn)新詞。首先考慮詞語結構制定規(guī)則構建碎片庫，然后利用Bi-Gram和Tri-Gram模式提取碎片庫中的候選字串，選取在兩個模式下概率都較大的候選字串做為新詞，最后有機結合系統(tǒng)分詞和新詞。實驗結果表明，這種算法有效的防止了因新詞造成的微博文本分詞效果差的影響。
　　第二，針對主題詞提取準確

3、性不高的問題，本文結合TF-IDF算法和詞共現(xiàn)模型的優(yōu)點，提出了基于優(yōu)化的TF-IDF和詞共現(xiàn)模型提取主題詞算法。在TF-IDF算法的研究中，發(fā)現(xiàn)傳統(tǒng)算法沒有體現(xiàn)詞語的位置信息，本文為了有效反應詞語的重要程度，把詞語是屬于微博正文、標題和評論的位置信息加入數(shù)據(jù)集中，并給予不同權重，以此優(yōu)化TF-IDF算法。在此基礎上，利用詞共現(xiàn)模型考慮詞語的上下文語義和語境的聯(lián)系，進行主題詞提取。通過實驗驗證，此算法可降低主題詞提取的偏差，使結果更為精