基于詞類和搭配的微博輿情文本聚類方法研究.pdf

1、微博是近年出現(xiàn)的新型互聯(lián)網(wǎng)信息交流平臺(tái)，它具有主題分散、體量短小、文體自由等特性，它能對(duì)社會(huì)產(chǎn)生巨大的影響，所以信息監(jiān)管部門(mén)和商業(yè)企業(yè)對(duì)基于微博信息的輿情分析都有迫切需求。由于微博的自身特點(diǎn)，這決定了一般的網(wǎng)絡(luò)輿情分析技術(shù)不再滿足微博的研究，對(duì)此需要做出改進(jìn)和調(diào)整。隨著微博的快速發(fā)展和流行，基于微博的輿情分析已經(jīng)逐漸成為一個(gè)熱門(mén)的研究方向。
　　本文根據(jù)微博的特性，提出了基于詞類和搭配的微博輿情文本聚類方法，文章的主要包括：

2、>　　(1)文章首先對(duì)輿情分析的相關(guān)技術(shù)做出綜述，說(shuō)明了目前數(shù)據(jù)采集的幾種方法，接著闡述了文本預(yù)處理中的經(jīng)典分詞系統(tǒng)和相關(guān)的一些算法，最后對(duì)各種分詞算法的優(yōu)勢(shì)和缺陷作出比較和分析，在這前提下介紹了本文采用的分詞工具 ICTCLAS及其優(yōu)勢(shì)。
　　(2)文本聚類是本文研究的重點(diǎn)，根據(jù)前人的研究可以知道，向量空間模型（VSM)無(wú)法表示具有語(yǔ)義關(guān)系的詞語(yǔ)，比如近義詞和多義詞等。本文利用詞類模型來(lái)描述文本，該模型的詞義歸納技術(shù)使用的是LD

3、A(Latent Dirichlet Allocation)主題模型，解決了文本表示時(shí)的高維向量向低維向量轉(zhuǎn)化的問(wèn)題。利用文本中的詞語(yǔ)搭配技術(shù)不僅可以明確研究主題而且可以文本間的相似度計(jì)算更加方便，本文提出了基于對(duì)數(shù)似然比和熵結(jié)合的自動(dòng)抽取搭配的方法來(lái)識(shí)別詞語(yǔ)間的搭配關(guān)系，實(shí)驗(yàn)表明該方法有良好性能。
　　(3)在傳統(tǒng)K均值文本聚類的基礎(chǔ)上同時(shí)根據(jù)微博的特性，提出了基于詞類和搭配的微博文本聚類算法，并將該算法同前人提出的基于詞類的文