基于VSM-BTM主題模型的微博熱點話題發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，微博作為一種社交媒體已經(jīng)獲得了社會各界的廣泛關(guān)注。但是如何從海量、不規(guī)則的微博數(shù)據(jù)中高效地提取出有效的信息來進(jìn)行話題發(fā)現(xiàn)，仍然是目前亟待解決的問題。因此，使用主題模型挖掘微博數(shù)據(jù)的方法得以產(chǎn)生。目前，學(xué)者們已經(jīng)對于主題模型進(jìn)行了大量的研究，但現(xiàn)有的方法技術(shù)仍然存在一些不足，主要體現(xiàn)在：一是計算的復(fù)雜度太高，對于大數(shù)據(jù)級別的微博數(shù)據(jù)計算的效率不高；二是使用一些主題模型（比如傳統(tǒng)的 LDA模型）對微博這種短文把數(shù)據(jù)進(jìn)行

2、聚類后的準(zhǔn)確度不高等。基于此，本文提出了一種融入改進(jìn)的VSM模型和BTM主題模型和改進(jìn)的適合微博數(shù)據(jù)的K-Means聚類方法的新浪微博數(shù)據(jù)挖掘方法，在保證計算微博數(shù)據(jù)效率的同時，提高微博數(shù)據(jù)挖掘的準(zhǔn)確度。
　　本文對VSM-BTM主題模型的微博數(shù)據(jù)挖掘方法進(jìn)行了研究，研究內(nèi)容主要分為微博數(shù)據(jù)的預(yù)處理、VSM-BTM建模、適合微博的聚類方法三個部分。其中，微博數(shù)據(jù)的預(yù)處理包括分詞、去停用詞、刪除噪音數(shù)據(jù)等過程，并將預(yù)處理的結(jié)果以tx

3、t格式的文本保存，作為下一步主題建模的輸入。在VSM-BTM建模過程中，首先使用現(xiàn)有的BTM主題模型進(jìn)行建模，對數(shù)據(jù)預(yù)處理的結(jié)果進(jìn)行不斷地迭代，得到“文檔-主題”矩陣和“主題-詞語”矩陣，同時，利用BTM主題模型生成的詞庫表和微博數(shù)據(jù)轉(zhuǎn)碼結(jié)果，提出了一種使用JS距離和余弦距離相結(jié)合計算微博數(shù)據(jù)之間的相似度的方法。適合微博的聚類方法是使用適合微博數(shù)據(jù)的改進(jìn)K-Means聚類方法對建模結(jié)果進(jìn)行聚類分析，主要是通過利用現(xiàn)有微博數(shù)據(jù)選取合適的初

4、始簇和計算距離的方法對傳統(tǒng)的K-Means聚類算法進(jìn)行了改進(jìn)。最后采用準(zhǔn)確率、召回率和F1值對實驗結(jié)果進(jìn)行分析評價。使用VSM-BTM主題模型進(jìn)行建模的方法避免了微博數(shù)據(jù)稀疏性的缺陷，且不需要使用外部信息對微博數(shù)據(jù)進(jìn)行擴(kuò)充，降低了對文本以外信息的依賴性。
　　通過實驗，本文對單純的LDA主題模型、單純的BTM主題模型和本文提出的VSM-BTM主題模型的微博熱點話題發(fā)現(xiàn)效果進(jìn)行對比分析，以3個主題模型的準(zhǔn)確率、召回率和F1值為對比分