基于lda的微博話題聚類研究

1、密級碩士學(xué)位論文（全日制專業(yè)學(xué)位碩士）（全日制專業(yè)學(xué)位碩士）題目基于基于LDA的微博話題聚類研究的微博話題聚類研究（英文）（英文）TopicClusteringResearchofMicroblogBasedOnLDA研究生學(xué)號:1403303018研究生姓名:林丹指導(dǎo)教師姓名、職稱指導(dǎo)教師姓名、職稱:劉建明教授申請學(xué)位門類:工程碩士學(xué)科、?？啤I(yè):計算機技術(shù)論文答辯日期:2017年6月12日萬方數(shù)據(jù)摘要I摘要隨著互聯(lián)網(wǎng)的高速發(fā)展，伴

2、隨著web2.0技術(shù)的應(yīng)用，像微信、微博等互聯(lián)網(wǎng)應(yīng)用的普及使得短文本以及碎片化信息時代的到來。這些信息漸漸普及并且蔓延到了人們生活的每個角落，極大地豐富了人們的生活也豐富了互聯(lián)網(wǎng)的世界，同時，給互聯(lián)網(wǎng)的數(shù)據(jù)挖掘帶來了更多的機遇和挑戰(zhàn)。短文本與傳統(tǒng)文本最大的不同就是簡短，用語不規(guī)范、新生詞語跟網(wǎng)絡(luò)流行語的快速增長。由于這些特點，傳統(tǒng)針對長文本的文本聚類方法并不適用。所以，快速并且有效進(jìn)行短文聚類，從而從短文本中獲取有效的信息成為了當(dāng)下學(xué)者

3、們的研究熱點，對數(shù)據(jù)挖掘有著重大的意義。對于類似于微博這種短文本研究技術(shù)，話題聚類是非常重要也是最基礎(chǔ)的部分，在這一部分中，碎片化的信息能夠有效地進(jìn)行歸類整理，從而發(fā)掘出明確的話題信息。發(fā)掘出的話題是微博中的熱點話題，所以討論熱點話題的微博數(shù)量會比較龐大，這些微博往往跟現(xiàn)實生活有所聯(lián)系。傳統(tǒng)的聚類方法很多，各種改進(jìn)算法以及相結(jié)合算法也層出不窮，達(dá)到的效果也往往不錯。LDA（LatentDirichletAllocation，潛在狄利克雷

4、分布）主題模型是一個比較成熟也比較完善的話題聚類方法，但是由于LDA會把每個文檔屬于每個主題的概率計算出來，也就是把每個文檔根據(jù)概率歸為某個主題，然而有些文檔并沒有主題，或者主題不明確，這樣就無法辨別出來，本文的數(shù)據(jù)集一部分帶標(biāo)注的數(shù)據(jù)，一部分是人為添加的無標(biāo)注集，這樣，帶標(biāo)注的數(shù)據(jù)集就帶有明確的主題，也就是我們所說的熱點話題，而不帶標(biāo)注的就是屬于垃圾主題的微博。本文嘗試?yán)胻opicrank算法進(jìn)行話題排序，根據(jù)得到的排序提取特色主題

5、的關(guān)鍵詞，接著對微博進(jìn)行主題聚類，采用本文提出的文本關(guān)聯(lián)詞算法對歸類后的文本數(shù)據(jù)進(jìn)行優(yōu)化調(diào)整，并嘗試?yán)肔DA得到主題關(guān)鍵詞和文本關(guān)聯(lián)詞算法進(jìn)行聚類分析，使用這兩種方法的到的結(jié)果與標(biāo)注集進(jìn)行實驗對比分析。在實驗的研究中，作者的主要工作如下：（1）針對LDA主題模型的進(jìn)行話題聚類時，并沒有區(qū)分出主題的明確性，利用topicrank算法對計算話題的特色性，并根據(jù)打分進(jìn)行降序列，根據(jù)得到的排序可以得到相應(yīng)的特色主題以及跟主題有關(guān)的微博。（2）