Web文本分類系統(tǒng)中文本預(yù)處理技術(shù)的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)信息量的迅速增長(zhǎng)對(duì)信息檢索提出了更高的要求。在使用搜索引擎時(shí)，為了方便用戶快速、準(zhǔn)確地從網(wǎng)上獲取所需的信息，有必要對(duì)搜索引擎檢索到的大量Web頁面按內(nèi)容進(jìn)行分類。Web文本挖掘技術(shù)是解決上述問題的一種有效的方法。它借鑒數(shù)據(jù)挖掘的基本思想和理論方法，從大量半結(jié)構(gòu)化、異構(gòu)的Web文檔集中發(fā)現(xiàn)潛在的、有價(jià)值的知識(shí)。 Web文本分類技術(shù)是Web文本挖掘中的一項(xiàng)重要技術(shù)。目前，針對(duì)中文網(wǎng)頁的分類技術(shù)逐漸成為Web數(shù)據(jù)挖掘研究的熱點(diǎn)。

2、它的關(guān)鍵技術(shù)包括網(wǎng)頁清洗、中文分詞、特征選擇、文本表示以及分類算法。其中網(wǎng)頁清洗、中文分詞、特征選擇和文本表示稱為對(duì)網(wǎng)頁文本的預(yù)處理，預(yù)處理結(jié)果的好壞是決定分類效果的重要因素。本文詳細(xì)研究了預(yù)處理的各個(gè)過程并實(shí)現(xiàn)了預(yù)處理系統(tǒng)。 預(yù)處理過程中，特征集的選取對(duì)文本分類的訓(xùn)練時(shí)間、分類的準(zhǔn)確率都有顯著的影響。傳統(tǒng)的特征選擇方法將每一個(gè)特征項(xiàng)都單獨(dú)對(duì)待，分別進(jìn)行特征評(píng)估，忽略了特征項(xiàng)之間的相關(guān)性、相似性等語義特征。本文在傳統(tǒng)特征選擇的基