文本表示模型和特征選擇算法研究.pdf

1、文本分類是一種處理非結(jié)構(gòu)信息的有效手段，在機器學(xué)習(xí)和信息檢索等領(lǐng)域得到了廣泛研究和應(yīng)用。然而由于文本特征具有高維性、高稀疏性，因此文本分類的效果和速度高度依賴于特征選擇方法和文本表示模型的選取。本文在文本特征選擇和文本表示模型兩個方面展開研究，主要工作如下:
　　(1)傳統(tǒng)的基于統(tǒng)計的特征選擇方法，沒有考慮特征的語義。為此，本文提出基于LDA詞向量和Word2vec詞向量的特征選擇方法，分別從主題和詞語上下文關(guān)系上，學(xué)習(xí)特征的語義

2、概念。特征選擇完成后，利用向量空間模型，對語料進行分類。在復(fù)旦語料上的實驗結(jié)果表明，基于詞向量的特征選擇分類效果相對于傳統(tǒng)的特征選擇得到了一定的改善。并且，基于詞向量的特征選擇是一種無監(jiān)督的方法，無需標(biāo)注數(shù)據(jù)集。
　　(2)LDA模型(LatentDirichletAllocation)沒有對輸入的特征進行選擇，因為含有大量對主題表達沒有意義的詞，影響主題質(zhì)量。針對這種情況，本文提出一種基于遺傳算法的文本特征選擇，預(yù)先使用遺傳算法

3、對原始的特征空間降低維，使得LDA能夠在更有意義的特征空間上進行主題分配。對復(fù)旦語料庫進行分類實驗，分類效果得到了改善。同時本文提出的遺傳算法用于特征選擇是自適應(yīng)的，無需事先確定特征選擇比例。LDA生成的主題中存在部分垃圾主題，一些主題是不相關(guān)的特征詞集合。當(dāng)前主要用通過手工檢查找有意義的主題。主題自動排序的方法，目前只有TSR(TopicSignificanceRanking)。TSR方法步驟比較多，且只考慮主題與垃圾主題的距離，沒有

4、考慮主題之間的關(guān)系。針對主題重要性排序，本文提出一種最大垃圾主題距離-最小相似度的主題重要性排序方法。實驗結(jié)果表明，本文提出的主題重要性排序方法，簡單高效，能夠識別出有意義的主題。
　　(3)LF-LDA模型(latentfeature-LDA)結(jié)合詞向量訓(xùn)練模型，文本分類效果優(yōu)于LDA。本文在LF-LDA模型的基礎(chǔ)上，提出了基于LF-LDA模型結(jié)合Word2vec的文本表示模型，利用LF-LDA生成的主題向量與Word2vec表