基于聚類的主題模型短文本分類方法研究.pdf

1、隨著互聯(lián)網(wǎng)即時(shí)通訊技術(shù)的發(fā)展和普及，手機(jī)短信、即時(shí)信息、基于互聯(lián)網(wǎng)和手機(jī)短信的客戶評(píng)論、新聞評(píng)論等短文本形式的信息大量出現(xiàn)，短文本信息處理領(lǐng)域的重要應(yīng)用所迫切需求，使得短文本分類成為一個(gè)重要的研究方向。
　　 短文本自身的長度短，所包含的特征信息少，描述能力弱，所以傳統(tǒng)的文本方法都不適用于短文本分文?，F(xiàn)階段一種可行的方案是利用其他的有用信息來擴(kuò)充短文本來輔助分類，以彌補(bǔ)短文本的固有缺陷。
　　 根據(jù)短文本的這種特性，按照

2、這種可行方案，本文考慮利用訓(xùn)練集文本自身之間的相互關(guān)聯(lián)關(guān)系來擴(kuò)充特征，而主題模型能夠很好的建立主題與特征詞之間的關(guān)系，提出了一種基于聚類的主題模型短文本分類方法。該方法的基本思想是：先通過聚類的方法把同一類別中的短文本訓(xùn)練集聚成一些小簇類；我們可以把每一小簇類中的短文本看成是同一個(gè)主題，根據(jù)主題在類別中的概率分布以及詞語在主題中的概率分布，隨機(jī)生成新的具有較強(qiáng)描述能力的長文本；最后用生成的長文本作為訓(xùn)練集對(duì)測(cè)試集的短文本進(jìn)行分類。