基于主題模型和混合模型的微博客交叉話題發(fā)現(xiàn)研究.pdf

1、微博客是一個(gè)基于用戶關(guān)系的信息分享、傳播以及獲取的平臺(tái)。微博已經(jīng)成為互聯(lián)網(wǎng)上的主要信息源之一。跟其他網(wǎng)絡(luò)文本不同，微博客內(nèi)容簡單（一般少于140個(gè)字）且可以通過各種通訊手段（手機(jī)、QQ等）實(shí)時(shí)發(fā)布，容易在短時(shí)間內(nèi)產(chǎn)生大量數(shù)據(jù)，且這些數(shù)據(jù)通常數(shù)量巨大且雜亂無章，所以很難及時(shí)準(zhǔn)確地獲取感興趣的信息。
　　 話題發(fā)現(xiàn)是自然語言處理領(lǐng)域一個(gè)新的研究方向，它能夠把屬于同一話題下的分散的信息有效的匯集并組織起來，從而幫助用戶在大數(shù)據(jù)中快速準(zhǔn)

2、確地找到自己感興趣的信息。傳統(tǒng)基于向量空間模型(VSM)和聚類算法相結(jié)合的話題檢測算法雖得到廣泛的應(yīng)用，且取得了不錯(cuò)的效果，但應(yīng)用在大規(guī)模微博文本話題發(fā)現(xiàn)時(shí)仍存在很多不足:一是用特征詞表示微博文本會(huì)出現(xiàn)維度過高、稀疏、同意問題;二是采用文本聚類的話題發(fā)現(xiàn)算法大部分都是基于劃分的，沒有考慮話題之間的關(guān)聯(lián)性，所以存在一定的局限性。
　　 在上述基礎(chǔ)上，針對(duì)微博文本的特點(diǎn)，采用主題模型作為文本表示模型。常用的主題模型主要有潛在語義分析

3、LSA(LatentSemanticAnalysis)、概率潛在語義分析PLSA(ProbabilityLatentsemanticAnalysis)和潛在狄里克利分布LDA(LatentDirichletAllocation)，其中LDA是當(dāng)前最流行和常用的主題模型，所以本文使用該模型用于提取微博文本隱主題。為了解決傳統(tǒng)話題發(fā)現(xiàn)算法存在的不足，提出混合模型交叉話題發(fā)現(xiàn)算法用于微博交叉話題發(fā)現(xiàn)。本文設(shè)計(jì)完成了微博交叉話題發(fā)現(xiàn)系統(tǒng)，在真實(shí)