中文微博短文本主題挖掘方法研究與原型系統(tǒng)開(kāi)發(fā).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)與智能移動(dòng)設(shè)備的快速發(fā)展，以Twitter、微博等為代表的社交媒體應(yīng)用變得越來(lái)越受歡迎，短文本交互日益普遍，對(duì)海量的微博數(shù)據(jù)進(jìn)行分析主題，及時(shí)獲取人們關(guān)注的熱點(diǎn)話題以及滿足用戶在大量產(chǎn)生的信息中查找自己的需求具有重要的現(xiàn)實(shí)意義。微博文本內(nèi)容短小，特征詞稀疏并且規(guī)模龐大，對(duì)于微博這種具有特殊特征的短文本，選取有效的方法進(jìn)行主題識(shí)別，進(jìn)行細(xì)粒度的主題檢索，最大程度的滿足用戶需求是目前需要解決的重要問(wèn)題。
　　本文主要

2、針對(duì)短文本的信息抽取開(kāi)展相關(guān)研究工作，研究重點(diǎn)聚焦于中文微博類(lèi)短文本的內(nèi)隱主題提取，在現(xiàn)有對(duì)文本聚類(lèi)和主題模型的研究基礎(chǔ)上，針對(duì)中文微博短文本語(yǔ)料庫(kù)，展開(kāi)了相關(guān)研究。主要研究工作和成果包括:
　　(1)對(duì)預(yù)處理后的微博語(yǔ)料集進(jìn)行基于top-k頻繁閉詞集的短文本聚類(lèi)，聚類(lèi)過(guò)程中對(duì)頻繁詞集挖掘算法進(jìn)行了改進(jìn)，避免了min_support的多次嘗試以及頻繁詞集數(shù)據(jù)量巨大的問(wèn)題，并且以頻繁詞集作為類(lèi)簇的描述信息，得到微博文本的粗粒度分類(lèi)。

3、
　　(2)針對(duì)類(lèi)簇內(nèi)主題不明確并且短文本存在的特征稀疏問(wèn)題，結(jié)合LDA模型和BTM模型提出了一種基于詞對(duì)共現(xiàn)LDA模型的類(lèi)簇內(nèi)潛在主題挖掘方法，對(duì)每篇文檔的詞對(duì)進(jìn)行建模，提高短文本主題特征的性能，得到細(xì)粒度的類(lèi)簇內(nèi)隱含主題。
　　(3)根據(jù)短文本聚類(lèi)和細(xì)粒度類(lèi)簇內(nèi)主題挖掘相結(jié)合的思想，設(shè)計(jì)出了微博內(nèi)隱主題挖掘系統(tǒng)，不僅能夠準(zhǔn)確的得出微博短文本的劃分類(lèi)簇，而且能夠?qū)崿F(xiàn)在類(lèi)簇上進(jìn)一步挖掘主題的目的，最終實(shí)現(xiàn)了對(duì)微博平臺(tái)內(nèi)微博信