基于詞性與LDA主題模型的文本分類技術(shù)研究.pdf

1、隨著“互聯(lián)網(wǎng)+”時代的到來，需要處理的數(shù)據(jù)越來越多，文本挖掘的工作也顯得越來越重要，人們希望能夠從海量的信息文本中準(zhǔn)確地獲得想要的信息，于是對于現(xiàn)有的文本數(shù)據(jù)挖掘技術(shù)，人們提出來一系列更高的需求。文本分類作為文本數(shù)據(jù)挖掘的重要組成部分之一，目前已經(jīng)廣泛應(yīng)用于信息過濾、搜索引擎、數(shù)字化圖書館、個性化推薦等多個領(lǐng)域，對它的研究擁有很強(qiáng)的現(xiàn)實(shí)意義。
　　首先，本文介紹了文本分類技術(shù)的價值，簡要介紹了當(dāng)前時代下文本分類的課題背景;闡述了國

2、內(nèi)外目前對于文本表示、特征選擇的研究現(xiàn)狀;對傳統(tǒng)文本分類技術(shù)的特征提取方法進(jìn)行了剖析，針對其存在的特征空間維度大、分類效率低、準(zhǔn)確率相對偏低的現(xiàn)狀，結(jié)合詞性在文本中的地位，提出了使用基于詞性的特征選擇的方法，同時將其與LDA主題模型結(jié)合使用，并深刻分析了該方法存在的意義與價值，以及其應(yīng)用在LDA主題模型上的優(yōu)勢，以及對最終分類結(jié)果的性能評估的影響。
　　其次，對文本分類過程中重要的環(huán)節(jié)，包括預(yù)處理、文本分詞、特征提取、特征權(quán)重、分

3、類算法、性能評估等，都選擇了目前比較常用經(jīng)典的算法以及實(shí)驗(yàn)中將會使用到的算法、指標(biāo)等，進(jìn)行了簡要的介紹與原理分析，對文本分類的整體流程進(jìn)行了系統(tǒng)性的介紹。
　　然后，針對提出的基于詞性的特征選擇方法與結(jié)合LDA主題模型的方式，重點(diǎn)介紹了詞關(guān)于詞性的這個特性，以及LDA主題模型。為了驗(yàn)證詞性的可用性，研究了典型特征提取算法提取的特征詞的詞性分布;然后有選擇的篩選詞性作為特征，研究其對特征空間降維的影響以及分類結(jié)果的影響;并對比篩選不

4、同詞性特征詞組合的分類結(jié)果，分析各種詞性的重要程度，以及它們在文本中的實(shí)際價值;最后結(jié)合詞性與LDA主題模型，研究詞性在LDA主題模型的作用于意義。通過系統(tǒng)的實(shí)驗(yàn)，使用真實(shí)的數(shù)據(jù)進(jìn)行了最終的結(jié)果分析，得出名詞、動詞、形容詞構(gòu)成文本的主體，它們基本決定了文本的屬性，其中尤其以名詞表現(xiàn)最為突出的結(jié)論，驗(yàn)證了詞性的重要性，同時也發(fā)現(xiàn)詞性在傳統(tǒng)特征選擇算法中，并沒有發(fā)揮太大的作用，反而能夠從語料的角度來說，能夠縮減原始數(shù)據(jù)集，從另一個角度降低分