微博熱點(diǎn)話題發(fā)現(xiàn)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展以及移動互聯(lián)網(wǎng)的全面普及，網(wǎng)民們相互溝通了解的方式越來越多樣化。微博作為一個新興的平臺，以其獨(dú)特的靈活性和便捷性，更加受到網(wǎng)民的青睞。微博給人們生活帶來極大便利的同時，也產(chǎn)生了一些副作用，例如一些人使用微博蓄意傳播假消息，給社會安定造成不良的影響。如果能夠及早發(fā)現(xiàn)這些話題，就能及時采取相應(yīng)的措施。對用戶來說，用戶只能看到自己主頁上的微博消息，無法了解到整個微博網(wǎng)絡(luò)中大多數(shù)用戶都在討論或者關(guān)注哪些事件。因此，及時發(fā)現(xiàn)微

2、博熱點(diǎn)話題是非常有意義的。
　　本文定義了話題的熱度，從定量的角度來表達(dá)熱點(diǎn)話題，對于某個話題來說，包含的微博發(fā)布時間越晚，評論數(shù)和轉(zhuǎn)發(fā)數(shù)越多，該話題的熱度越高，越有可能是熱點(diǎn)話題。國內(nèi)外大量學(xué)者都在熱點(diǎn)話題發(fā)現(xiàn)上做了許多研究，總結(jié)出來大致有聚類算法、LDA模型、情感模型三種方法，或者是在此基礎(chǔ)上進(jìn)行改進(jìn)。本文在研究微博熱點(diǎn)話題發(fā)現(xiàn)的過程中，首先需要解決微博語料的問題，傳統(tǒng)的網(wǎng)絡(luò)爬蟲無法適用于微博信息抓取，而且微博API也只能抓取

3、本人微博主頁上的微博信息，無法獲取大量的微博信息，所以本文根據(jù)微博用戶之間相互關(guān)注的關(guān)系獲取大量用戶信息，然后抓取這些用戶最新發(fā)表的微博信息。接下來需要對微博進(jìn)行預(yù)處理，包括過濾垃圾微博信息、分詞、去除停用詞、無用信息過濾、特征詞提取、特征權(quán)重計算，為每一條微博文本生成特征向量。最后針對微博不斷增加的特點(diǎn)，選擇適合的Single-Pass增量聚類算法，得到多個簇，每個簇代表一個話題，每一個話題下包含許多條微博。為了從話題中選擇出熱點(diǎn)話題

4、，文中定義了話題的熱度，發(fā)布時間越晚、評論數(shù)和轉(zhuǎn)發(fā)數(shù)越多的話題，熱度越高，成為熱點(diǎn)話題的可能性越大。
　　從大量學(xué)者的研究中發(fā)現(xiàn)，LDA主題模型也能夠用來發(fā)現(xiàn)話題，但是它需要多次迭代，處理大量數(shù)據(jù)時運(yùn)行時間比較長。不過LDA主題模型在主題表達(dá)方面比較有優(yōu)勢，所以本文將Single-Pass算法與LDA模型結(jié)合起來，先利用Single-Pass聚類算法對微博文本聚類，然后利用LDA算法處理每一個簇，最后得到微博熱點(diǎn)話題，這樣比單獨(dú)使