中文WEB文檔自動分類的研究與實現(xiàn).pdf

1、因特網(wǎng)上的信息日益豐富,已經成為知識獲取的一個重要來源.信息資源的豐富也使信息的檢索有如大海撈針,檢索到自己所需要的信息資源效率不高.對信息進行整理,提高信息檢索的效率具有非常重要的意義.本課題的研究的內容是對中文WEB文檔進行自動整理歸類,以提高用戶對信息檢索的體驗,它也是搜索引擎的核心技術.本課題開發(fā)的中文WEB文檔自動分類工具有較好分類準確度,也為進一步研究打下了基礎.本文首先介紹了文本自動分類的主要方法,分析了中文WEB文檔的特

2、點,提出了中文WEB文檔自動分類的主要技術問題,介紹了中文WEB文檔自動分類工具的總體設計,它主要包括網(wǎng)絡蜘蛛、中文分詞、特征選取和貝葉斯分類器等功能模塊.接著分析了各模塊的主要算法和Java實現(xiàn)方法.最后對中文WEB文檔自動分類器進行了實驗,對我們所構建的中文WEB文檔自動分類工具的性能進行了評估,實驗表明此工具有較高的分類準確度,達到了設計的要求.本論文的結構如下:第1章:對目前的文檔分類技術進行了分析,著重指出了中文WEB文檔分類

3、的特殊性,提出了研究的主要內容.第2章:對中文WEB文檔自動分類器進行了總體設計,制訂了它的各個功能模塊及每個模塊的主要功能.同時也闡述了所使用的新方法.第3章:講述了網(wǎng)絡蜘蛛抓取WEB文檔的原理,分析了對WEB文檔進行結構化解析的主要技術和網(wǎng)絡蜘蛛的實現(xiàn)方法.第4章:分析和比較了多種中文分詞實現(xiàn)方法,對最大匹配分詞法進行了改進,提高了中文分詞的效率和準確度.并給出了實現(xiàn)的技術細節(jié),特別是對中文詞典的實現(xiàn)方法作了詳細介紹.第5章:分析了