WEB文本信息抽取和分類研究.pdf

1、伴隨著Internet的飛速發(fā)展，Web上出現(xiàn)了海量的、異構(gòu)的、半結(jié)構(gòu)化的、動(dòng)態(tài)的信息資源，并且在這些Web信息中有80％以上的信息是以Web文本的形式存在的。如何從這些浩如煙海的Web信息資源中尋找并獲取有價(jià)值的信息和知識(shí)模式，已經(jīng)成為信息處理領(lǐng)域的一個(gè)亟待解決的問題。Web文本分類可以有效的解決上述問題，它起源于ATC技術(shù)(自動(dòng)文本分類技術(shù))，是Web文本挖掘的關(guān)鍵組成部分；Web文本分類可以提高用戶進(jìn)行網(wǎng)上信息搜索的效率，可以對(duì)搜

2、索結(jié)果進(jìn)行分門別類，幫助用戶快速的對(duì)目標(biāo)知識(shí)進(jìn)行定位，并且能夠從中抽取有價(jià)值的知識(shí)。 本文首先介紹了文本自動(dòng)分類的主要方法，分析了WEB文檔的特點(diǎn)，提出了WEB文本自動(dòng)分類所要研究的兩個(gè)技術(shù)層面：信息抽取和文本分類，研究了基于視覺的WEB文本抽取和基于支持向量機(jī)的多層次文本分類方法，并進(jìn)行了WEB文本自動(dòng)分類工具的總體設(shè)計(jì)，它主要包括網(wǎng)頁采集、信息抽取、文本預(yù)處理和文本分類等功能模塊，在以上研究的基礎(chǔ)上最后提出了分類搜索引擎的設(shè)