中文文本分類反饋學(xué)習(xí)研究.pdf

1、隨著Internet信息的日益膨脹，網(wǎng)絡(luò)上的信息資源正在以指數(shù)級(jí)的速度增長，人們必須面對(duì)如何在廣博的信息中發(fā)現(xiàn)和挖掘自己所需信息資源的問題。這就要求我們探索計(jì)算機(jī)自動(dòng)文本分類的有效方法，使得分類的效率和準(zhǔn)確率得到提高。然而由于訓(xùn)練語料數(shù)量有限而難以覆蓋該類別所有的內(nèi)容和隨著時(shí)間的推移該類別又增加了許多新特征而使原有分類器過時(shí)，此時(shí)仍利用原有分類器來對(duì)當(dāng)前待分類文本進(jìn)行分類，可能會(huì)造成分類錯(cuò)誤和分類遺漏等問題。反饋學(xué)習(xí)是針對(duì)信息變化動(dòng)態(tài)調(diào)

2、整完善分類模型行之有效的方法。因此，根據(jù)用戶反饋對(duì)分類模型進(jìn)行動(dòng)態(tài)完善成為當(dāng)前亟待解決的問題。 本文在文本分類現(xiàn)狀進(jìn)行廣泛研究地基礎(chǔ)上，對(duì)文本分類的關(guān)鍵技術(shù)進(jìn)行了歸納性總結(jié)，其中包括文本分詞、文本表示、特征選取、特征權(quán)重計(jì)算、分類算法（特別是支持向量機(jī)分類器和K最鄰近分類器）和分類性能評(píng)估?；诓煌?guī)模的文本集，比較性分析了信息增益、互信息、期望交叉熵、X2—統(tǒng)計(jì)量和文本證據(jù)權(quán)五種特征選取方法對(duì)分類性能的影響；實(shí)驗(yàn)分析了文本特征

3、選取算法對(duì)分類性能的影響、支持向量機(jī)分類器中核函數(shù)選擇對(duì)分類性能的影響、特征向量維數(shù)對(duì)文本分類性能的影響和K最鄰近分類器中K值的大小對(duì)分類性能的影響等。 在對(duì)中文文本分類深入研究的基礎(chǔ)上，又將相關(guān)反饋引入中文文本分類并詳細(xì)分析了文本分類反饋學(xué)習(xí)的基本思想，對(duì)反饋學(xué)習(xí)的分類流程和反饋學(xué)習(xí)算法進(jìn)行了深入探討，構(gòu)建了基于反饋學(xué)習(xí)的中文文本分類模型，闡述了中文文本分類反饋學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)框架和功能模塊。最后，通過對(duì)訓(xùn)練集和非訓(xùn)練集分別進(jìn)行

4、的實(shí)驗(yàn)研究表明：反饋學(xué)習(xí)對(duì)分類性能的提高有明顯的作用和用于學(xué)習(xí)的訓(xùn)練樣本的質(zhì)量對(duì)分類性能影響的重要性和用戶參與反饋分類所帶來的不確定性。 “訓(xùn)練—分類—反饋”的中文文本分類反饋學(xué)習(xí)模式，是在傳統(tǒng)“訓(xùn)練—分類”模式基礎(chǔ)上增加反饋而形成的，那么該分類模式對(duì)訓(xùn)練不充分或由于更新較快而無法訓(xùn)練充分的分類模型具有完善作用，分類器也逐漸從訓(xùn)練不充分階段趨于訓(xùn)練充分階段，分類性能也將逐漸趨于穩(wěn)定。因此，對(duì)中文文本分類反饋學(xué)習(xí)的研究具有較強(qiáng)理論