基于Web文本挖掘的SVM網(wǎng)頁文本分類研究.pdf

1、隨著Internet的迅速發(fā)展，尤其是WorldWideWeb的全球普及，Web上信息資源已涵蓋了社會生活的各個方面，網(wǎng)絡信息過載(InformationOverload)問題日益突出，這促使Web挖掘技術和Web信息檢索技術迅速發(fā)展。 廣泛使用的處理Web信息的手段是搜索引擎。目前使用較多的是基于關鍵字的搜索引擎，在實際應用中存在諸如返回文檔數(shù)目過大，主題相關性不高等問題，總體查全率和查準率差強人意。對于搜索引擎存在的問題，人

2、們想到了數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取或“挖掘”知識，將傳統(tǒng)的數(shù)據(jù)挖掘技術與Web結合起來，從Web文檔和Web活動中抽取感興趣的、潛在的、有用的信息。Web挖掘成為數(shù)據(jù)挖掘一個重要的研究領域。Web挖掘技術能夠從Web上海量的數(shù)據(jù)中自動地，智能地抽取隱藏于這些數(shù)據(jù)中的知識，彌補了傳統(tǒng)搜索引擎的不足并且有更廣泛的應用。 處理海量數(shù)據(jù)的一個重要方法就是將它們分類。網(wǎng)頁自動分類是Web文本挖掘領域的一個很重要的研究方向。通過自

3、動分類不僅僅可以將網(wǎng)頁按照類別信息分別建立相應的數(shù)據(jù)庫，提高搜索引擎的查全率和查準率，而且可以建立自動的分類信息資源，為用戶提供分類信息目錄。文本分類把自然語言的文本按其內容劃分到一個或多個預先定義好的類別中，是一個非常重要的信息組織和管理手段。 支持向量機(SVM)是由Vapnik及其領導的AT&T實驗室研究小組提出的一種新的很有發(fā)展前途的機器學習算法。在模式識別、回歸估計、概率密度函數(shù)估計等方面都有應用。在模式識別方面，對于

4、手寫數(shù)字識別、語音識別、人臉圖像識別、文本分類等問題，SVM算法在精度上已經超過傳統(tǒng)的學習算法或與之不相上下。SVM有許多突出的優(yōu)點，使它適合Web文本信息處理。SVM作為可以廣泛應用在網(wǎng)上信息自動分類的方法日益受到研究者的重視。該方法研究小樣本情況下的機器學習規(guī)律，具有相對較高的性能指標。因為SVM具有較強的理論依據(jù)和較好的泛化性能，使得它成為繼神經網(wǎng)絡研究之后新的研究熱點，并將推動機器學習理論和技術的重大發(fā)展。 本文闡述了W