基于優(yōu)化TF-IDF與詞共現(xiàn)的微博熱點(diǎn)話題發(fā)現(xiàn)研究.pdf

1、微博熱點(diǎn)話題發(fā)現(xiàn)是指從大量微博中挖掘出話題，并根據(jù)話題熱度評(píng)估方法選出熱點(diǎn)話題。它可以幫助人們從海量的信息中，便捷地選出用戶感興趣或者需要的信息，并對(duì)政府輿情指導(dǎo)、信息安全、金融判斷等領(lǐng)域也有很大價(jià)值。本文對(duì)微博熱點(diǎn)話題發(fā)現(xiàn)的現(xiàn)狀進(jìn)行分析和總結(jié)，發(fā)現(xiàn)目前存在文本分詞錯(cuò)誤率較高、主題詞提取準(zhǔn)確性不高以及選擇的話題熱度評(píng)估方式不同的問(wèn)題。針對(duì)這些問(wèn)題，本文重點(diǎn)研究了以下三個(gè)方面：
　　第一，對(duì)中文分詞和新詞發(fā)現(xiàn)技術(shù)進(jìn)行深入探討，發(fā)現(xiàn)目

2、前的分詞工具分詞后出會(huì)現(xiàn)很多單字碎片，尤其是將新詞分詞后，導(dǎo)致與原意非常不同。本文為了解決分詞錯(cuò)誤率較高的問(wèn)題，提出了基于規(guī)則和N-Gram模型發(fā)現(xiàn)新詞。首先考慮詞語(yǔ)結(jié)構(gòu)制定規(guī)則構(gòu)建碎片庫(kù)，然后利用Bi-Gram和Tri-Gram模式提取碎片庫(kù)中的候選字串，選取在兩個(gè)模式下概率都較大的候選字串做為新詞，最后有機(jī)結(jié)合系統(tǒng)分詞和新詞。實(shí)驗(yàn)結(jié)果表明，這種算法有效的防止了因新詞造成的微博文本分詞效果差的影響。
　　第二，針對(duì)主題詞提取準(zhǔn)確

3、性不高的問(wèn)題，本文結(jié)合TF-IDF算法和詞共現(xiàn)模型的優(yōu)點(diǎn)，提出了基于優(yōu)化的TF-IDF和詞共現(xiàn)模型提取主題詞算法。在TF-IDF算法的研究中，發(fā)現(xiàn)傳統(tǒng)算法沒有體現(xiàn)詞語(yǔ)的位置信息，本文為了有效反應(yīng)詞語(yǔ)的重要程度，把詞語(yǔ)是屬于微博正文、標(biāo)題和評(píng)論的位置信息加入數(shù)據(jù)集中，并給予不同權(quán)重，以此優(yōu)化TF-IDF算法。在此基礎(chǔ)上，利用詞共現(xiàn)模型考慮詞語(yǔ)的上下文語(yǔ)義和語(yǔ)境的聯(lián)系，進(jìn)行主題詞提取。通過(guò)實(shí)驗(yàn)驗(yàn)證，此算法可降低主題詞提取的偏差，使結(jié)果更為精