基于特征提取和主題模型的文本分類研究.pdf

1、隨著全球信息化的迅速發(fā)展和互聯(lián)網(wǎng)的普及，這種新的信息傳播途徑改變了人們的生活方式，但是互聯(lián)網(wǎng)中的數(shù)據(jù)作為信息載體也呈現(xiàn)了爆炸式增長。對這些數(shù)據(jù)進(jìn)行有效的組織和挖掘，以期望更加迅速、精確和全面找到用戶所需要的信息是當(dāng)今信息科學(xué)領(lǐng)域面臨的一大挑戰(zhàn)。為了應(yīng)對這種挑戰(zhàn)可以對這些數(shù)據(jù)進(jìn)行挖掘，文本挖掘主要有文本分類、文本聚類、文檔摘要等方法，由于文本分類是人們獲取知識和認(rèn)識事物的一種非常重要方法，并且其在自然語言處理、自然語言理解、機(jī)器學(xué)習(xí)和主題

2、識別等領(lǐng)域都起著關(guān)鍵作用，所以基于文本內(nèi)容的自動分類研究已成為備受關(guān)注的研究熱點(diǎn)之一。
　　 文本分類是這樣一個過程，為需要分類的文檔集歸到確定一個類別并且這些類別都是預(yù)先定義的。文本分類一般包括了文本的預(yù)處理、特征提取、分類器的選擇、訓(xùn)練集訓(xùn)練、測試集測試、分類結(jié)果的評價等步驟。在這些步驟中，由于特征提取的好壞對分類結(jié)果影響比較大，對其研究就成為文本分類中當(dāng)前的一個熱點(diǎn)。特征提取是通過對原始特征進(jìn)行降維，以達(dá)到去除特征集中對文

3、本分類無意義的特征，進(jìn)而提高分類效果的最終目的。傳統(tǒng)的文本特征提取方法都是基于數(shù)理統(tǒng)計的，忽略了文本中詞項(xiàng)之間的語義關(guān)系。本文試圖通過引入語義信息與傳統(tǒng)的特征提取方法結(jié)合，達(dá)到數(shù)理統(tǒng)計信息和語義信息全部融入分類算法的目的，以提高文本分類的效果。
　　 本文對文本分類相關(guān)技術(shù)、主題模型進(jìn)行了介紹，并進(jìn)行了以下研究工作:
　　 (1)分析了傳統(tǒng)的CHI和MI特征提取方法的不足之處，針對問題提出一種基于兩種方法的特征提取方法F