微博短文本分析技術(shù)研究及應(yīng)用.pdf

1、微博的普及化,使得互聯(lián)網(wǎng)中存在大量的文本數(shù)據(jù)。這些數(shù)據(jù)大多數(shù)是微博用戶自創(chuàng)的短文本,其中隱含了微博用戶個(gè)人的興趣特征。通過(guò)深入分析,挖掘其中隱含的信息,作為其它應(yīng)用的分析數(shù)據(jù),如用戶的個(gè)性化推薦。本文通過(guò)對(duì)微博短文本的研究,挖掘微博短文本特征,識(shí)別用戶興趣。本文主要完成了以下工作:
　　1.提出了一種微博新詞識(shí)別方法。針對(duì)微博中存在許多新型的未登錄詞典的網(wǎng)絡(luò)詞語(yǔ),給出了微博新詞識(shí)別方法。首先根據(jù)微博的特殊形式,給出了微博短文本的預(yù)

2、處理方案。通過(guò)特定符號(hào)“【】”和“＃?！币?guī)定的功能,抽取其中的字符串,作為備選詞。然后經(jīng)過(guò)詞典過(guò)濾、相鄰串過(guò)濾,最后計(jì)算互信息,抽取互信息達(dá)到閾值的詞語(yǔ)作為新詞。建立新詞詞典的作用是在于提高分詞效果。
　　2.提出了微博短文本特征提取方法?；谖⒉┑男问?考慮詞頻、文本稀疏、潛在語(yǔ)義三個(gè)方面,給出了將VSM(Vector Space Model)、聚類方法和LDA(Latent Dirichlet Allocation)相結(jié)合的特

3、征詞提取方法。對(duì)微博數(shù)據(jù)集利用基于K-Means++的聚類方法進(jìn)行了聚類,根據(jù)聚類結(jié)果重組數(shù)據(jù)集。對(duì)重組后的數(shù)據(jù)集采用LDA建模,再依據(jù)概率分布,抽取特征。
　　3.給出了微博用戶興趣的識(shí)別方法。基于特征詞提取結(jié)果,給出了基于詞典的識(shí)別方法。基于用戶微博的特征詞,計(jì)算每個(gè)主題詞典的權(quán)重,選取權(quán)重大于給定閾值的主題作為最終的用戶興趣描述。
　　4.設(shè)計(jì)了一個(gè)微博用戶興趣挖掘系統(tǒng)。為了將上述給出的方法應(yīng)用于實(shí)際的微博數(shù)據(jù)中,得到