基于自然語言處理的文本分類分析與研究.pdf

1、當(dāng)今,隨著信息技術(shù)不斷向前發(fā)展,在機(jī)器學(xué)習(xí)這門計算機(jī)學(xué)科中,有關(guān)模式識別的理論知識已經(jīng)日趨成熟,同時應(yīng)用到了許多領(lǐng)域,其中一個重要的研究方向是基于統(tǒng)計的自然語言處理。由于互聯(lián)網(wǎng)的興起,基于自然語言表述的電子文本信息越來越多,在這么多的電子文本信息中,基于自然語言的信息處理的一個最大目標(biāo)是怎樣有效地獲取和管理這些信息。對于提出的這些問題需要對自然語言進(jìn)行研究和其相關(guān)應(yīng)用,文本分類在這里顯得特別重要,它是作為信息檢索等問題的基礎(chǔ)。
　

2、　文本分類主要分為兩個階段,分別采用了自然語言處理、機(jī)器學(xué)習(xí)、模式識別、文本挖掘技術(shù)來實現(xiàn)。因此,文本分類在理論研究上的價值體現(xiàn)在對這些技術(shù)的推動。文本分類能夠有效的提高網(wǎng)上信息檢索的效果,不僅是改進(jìn)信息獲取模式的重要方面,也是內(nèi)容安全的基礎(chǔ)部分。因此分類性能的好壞已經(jīng)成為關(guān)注的焦點,研究文本分類任務(wù)的理論和工程應(yīng)用,將具有重要意義。
　　在現(xiàn)有的研究成果上,本論文對文本分類及其相關(guān)技術(shù)做了一些研究。首先介紹了文本分類技術(shù)的研究現(xiàn)

3、狀及該課題研究意義;接著介紹了文本分類的過程和在這個過程中所用到的相關(guān)技術(shù),主要對中文分詞方法、特征選擇方法和文本分類算法做了研究;然后介紹文本分類設(shè)計的整個過程,在預(yù)處理的過程中為了對三字長交集型歧義字段消除歧義及對停用詞的處理,對最大匹配分詞法進(jìn)行了改進(jìn),同時在基于KL散度的特征選取法基礎(chǔ)上并且結(jié)合了特征項的TFIDF權(quán)值,這樣選取出的特征項能比較準(zhǔn)確的表達(dá)文本內(nèi)容,為分類打好基礎(chǔ),最后對貝葉斯算法、簡單向量距離分類法和KNN(K最