基于主題模型的微博話題檢測(cè)與跟蹤研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，如今的網(wǎng)絡(luò)在線數(shù)據(jù)以短文本的形式呈爆炸性趨勢(shì)增長(zhǎng)。話題檢測(cè)與跟蹤技術(shù)就是為了應(yīng)對(duì)日益嚴(yán)重的互聯(lián)網(wǎng)信息爆炸問(wèn)題提出的一種信息處理技術(shù)，對(duì)網(wǎng)絡(luò)輿情預(yù)警具有非常重要的作用。傳統(tǒng)的話題檢測(cè)與跟蹤的技術(shù)基本都是針對(duì)新聞報(bào)道進(jìn)行研究的，這些新聞報(bào)道的文本格式比較規(guī)范，篇幅較為統(tǒng)一，與現(xiàn)在網(wǎng)絡(luò)上流行的短文本數(shù)據(jù)特征差異很大，使得傳統(tǒng)的文本處理方法已經(jīng)不再適合對(duì)短文本數(shù)據(jù)進(jìn)行處理?；诖?，本課題提出了一種新的基于主題模型的短文

2、本聚類方法，對(duì)微博數(shù)據(jù)進(jìn)行話題檢測(cè)與跟蹤研究，旨在為網(wǎng)絡(luò)輿情監(jiān)控提供有力支持。具體研究工作主要包括:
　　1、對(duì)傳統(tǒng)的話題檢測(cè)與跟蹤方法進(jìn)行了調(diào)研，了解了已有的相關(guān)技術(shù)。又對(duì)現(xiàn)在的微博文本數(shù)據(jù)格式進(jìn)行了分析，從微博平臺(tái)的特征出發(fā)，再結(jié)合用戶的行為習(xí)慣進(jìn)行分析，找到微博話題的文本格式特征，得到微博話題的文本數(shù)據(jù)具有時(shí)效性、稀疏性、奇異性和冗余性等特征。由于這些特征，使得將傳統(tǒng)的話題檢測(cè)與跟蹤方法運(yùn)用到微博數(shù)據(jù)上進(jìn)行處理時(shí)存在嚴(yán)重的高

3、維、稀疏等問(wèn)題。
　　2、通過(guò)對(duì)微博話題的文本格式特征進(jìn)行分析，設(shè)計(jì)了一套基于主題模型的算法，其主要思路是:對(duì)采集的原始文本進(jìn)行預(yù)處理后得到關(guān)鍵詞;由關(guān)鍵詞構(gòu)建文檔詞條矩陣;根據(jù)文檔詞條矩陣生成詞語(yǔ)關(guān)聯(lián)矩陣，并提取主題詞;然后對(duì)主題詞進(jìn)行聚類，從而生成主題模型。
　　3、將主題模型運(yùn)用到話題檢測(cè)與跟蹤步驟中，利用文本與主題模型相互進(jìn)行匹配，可以得到文本類別，以此實(shí)現(xiàn)文本的聚類，從而達(dá)到話題檢測(cè)的目的。再通過(guò)對(duì)每一個(gè)時(shí)間段的數(shù)