基于微博的突發(fā)話題檢測(cè)研究.pdf

1、微博的標(biāo)語(yǔ)是“隨時(shí)隨地，發(fā)現(xiàn)新鮮事！”從這標(biāo)語(yǔ)中的“隨時(shí)”和“新鮮事”，我們就能知道微博中包含了大量的突發(fā)事件，如果不能及時(shí)處理突發(fā)事件，不僅會(huì)造成謠言的滋生和蔓延，破壞網(wǎng)絡(luò)秩序，還會(huì)影響社會(huì)治安，不利于社會(huì)的安定團(tuán)結(jié)。
　　本文分析了微博的信息特點(diǎn)、傳播特點(diǎn)和國(guó)內(nèi)外的研究現(xiàn)狀，提出一種微博突發(fā)話題檢測(cè)方法。首先采用雙滑動(dòng)窗口來(lái)提取突發(fā)詞和含有突發(fā)性的微博文本，然后從相對(duì)詞頻、詞頻增長(zhǎng)率、突發(fā)詞權(quán)重三個(gè)方面來(lái)對(duì)突發(fā)詞進(jìn)行篩選，確保

2、抽取到的突發(fā)詞能夠更加準(zhǔn)確的來(lái)描述突發(fā)事件，用基于凝聚式層次聚類算法來(lái)對(duì)獲取的突發(fā)詞進(jìn)行聚類，再用聚類后的突發(fā)詞集來(lái)概括表示突發(fā)事件。本文在計(jì)算權(quán)重時(shí)提出了一種結(jié)合CHI和改進(jìn)的TF-IDF算法的方法，采用空間向量模型對(duì)微博文本數(shù)據(jù)進(jìn)行建模，在微博文本聚類上用基于最大距離法的k-means聚類算法，最終得到突發(fā)事件的文本聚類。本文考慮到了中文詞中存在一義多詞或一詞多義的緣故，在傳統(tǒng)的TF-IDF算法上結(jié)合了詞的語(yǔ)義，本文提出的一種結(jié)合C

3、HI和改進(jìn)的TF-IDF算法的方法在計(jì)算權(quán)重時(shí)，不僅可以降低空間向量的維度，還能減少計(jì)算的復(fù)雜度。實(shí)驗(yàn)中先對(duì)本文提出的結(jié)合CHI和改進(jìn)的TF-IDF算法的方法同傳統(tǒng)的TF-IDF算法和CHI統(tǒng)計(jì)法用MATLAB仿真結(jié)果做對(duì)比，再對(duì)本文提出的基于最大距離法的k-means聚類算法與傳統(tǒng)的k-means聚類算法做對(duì)比，發(fā)現(xiàn)本文提出的方法能在一定程度上提高了召回率、準(zhǔn)確率、F值。實(shí)驗(yàn)結(jié)果表明本文提出的方法可以有效檢測(cè)微博中的突發(fā)話題。