基于微博的熱點(diǎn)話題發(fā)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)及資源大幅增加，并呈現(xiàn)出海量特性。為了有效地管理和利用這些海量分布的信息，基于內(nèi)容的信息檢索和數(shù)據(jù)挖掘近年逐漸成為倍受關(guān)注的領(lǐng)域。其中，基于語義的文本主題分析在近年來成為信息檢索和文本挖掘的熱點(diǎn)研究方向，其主要任務(wù)是根據(jù)文本中已知的“文檔-單詞”分布生成“文檔-主題”和“主題-單詞”兩個(gè)分布，從而提取出文檔中隱含的主題信息。主題分析模型在文本分類聚類、信息組織與管理、熱點(diǎn)話題挖掘等領(lǐng)域都有著廣泛的應(yīng)用。

2、
　　近年來，隨著Web2.0的興起，社會(huì)網(wǎng)絡(luò)，比如人人網(wǎng)、Facebook、Twitter、新浪微博等非常流行，逐漸成為人與人聯(lián)系的重要方式。社交網(wǎng)絡(luò)中80％以上的數(shù)據(jù)為自然語言文本，海量的用戶產(chǎn)生數(shù)據(jù)(UGC)，充斥著網(wǎng)絡(luò)空間。為了使用戶能更快捷，更方便地了解熱門話題并參與到當(dāng)前話題的討論之中，對(duì)微博熱點(diǎn)話題的挖據(jù)顯得非常重要。但是因?yàn)樯鐣?huì)網(wǎng)絡(luò)中的文本有其自身的特點(diǎn)，傳統(tǒng)的針對(duì)長文本的主題分析模型并不能取得很好的效果。社會(huì)網(wǎng)絡(luò)

3、中的文本有幾個(gè)顯著特點(diǎn):高維性、稀疏性、不規(guī)范性、主題分布不均。換言之，微博中每分鐘都會(huì)有大量的消息文本產(chǎn)生，這些消息文本很可能產(chǎn)生上萬維的向量，這對(duì)于主題分析模型來說太耗時(shí)，導(dǎo)致效率低下;而對(duì)于長文本來說，它的關(guān)鍵詞少，特征稀疏，很難抽取有效特征，更難以挖掘特征相互之間的關(guān)聯(lián)性;用語不規(guī)范和流行語多，是網(wǎng)絡(luò)文本的最大特點(diǎn)，也為這類主題挖掘帶來了諸多難點(diǎn);另外，發(fā)布的消息主題類型完全依賴于用戶自己的興趣，在微博中，絕大多數(shù)消息都是關(guān)于日

4、常生活的，比如天氣，心情等，因此僅僅根據(jù)單詞出現(xiàn)的次數(shù)來判斷其是否為熱點(diǎn)話題相關(guān)的單詞的做法不足可取。
　　用傳統(tǒng)的主題分析方法對(duì)微博中的文本進(jìn)行熱點(diǎn)話題挖掘，一方面識(shí)別不出熱點(diǎn)話題相關(guān)的信息，會(huì)導(dǎo)致準(zhǔn)確率較低;另一方面，文本太多，使得主題分析效率很低。近年來，有很多針對(duì)微博中熱點(diǎn)話題挖掘進(jìn)行的研究。鑒于微博中文本存在的特點(diǎn)及針對(duì)該文本進(jìn)行熱點(diǎn)話題挖掘所存在的問題，本文首先對(duì)，利用外部數(shù)據(jù)集進(jìn)行了深入地探討;另外，利用微博中自身屬

5、性也是一個(gè)研究方向，微博中的屬性包括發(fā)布時(shí)間，標(biāo)簽，轉(zhuǎn)發(fā)數(shù)和評(píng)論數(shù)等，這些屬性對(duì)于熱點(diǎn)話題挖掘非常有用，本文探討了如何對(duì)此加以利用，提高熱點(diǎn)話題的預(yù)測準(zhǔn)確率。本論文的貢獻(xiàn)如下:
　　1)根據(jù)基于實(shí)體的相似性算法將每個(gè)用戶所發(fā)布的相似消息合并為一個(gè)文檔，增加文檔信息;然后將多個(gè)外部數(shù)據(jù)集作為知識(shí)背景，用LDA(Latent Dirichlet Allocation)模型對(duì)數(shù)據(jù)集進(jìn)行熱點(diǎn)話題挖掘。
　　2)提出一個(gè)新的主題分析模