網(wǎng)頁自動分類和存儲管理系統(tǒng)的設計與實現(xiàn).pdf

1、隨著信息技術(shù)的高速發(fā)展，Internet上的Web頁面數(shù)量呈指數(shù)增長。如何有效的組織和處理這些海量信息，如何更好地搜索、過濾和管理這些網(wǎng)絡資源，已經(jīng)日益成為信息處理領域里一個十分重要的研究課題。傳統(tǒng)上是依靠人工的方法對網(wǎng)頁進行分類，即專業(yè)人員在分析網(wǎng)頁的內(nèi)容后，將它分到一個或若干個比較合適的類別中。隨著網(wǎng)頁信息容量的快速增長，不可能再依靠人工的方式來進行大量的網(wǎng)頁分類。網(wǎng)頁的自動分類已經(jīng)成為信息檢索領域的一個很重要的研究方向。通過自動分

2、類可以將網(wǎng)頁按照類別信息分別建立相應的數(shù)據(jù)庫，提高搜索引擎的查全率和查準率，同時網(wǎng)頁分類技術(shù)還可以應用到信息過濾技術(shù)中，如保存的URL分類庫可以用于URL過濾系統(tǒng)，網(wǎng)頁分類的模型用于內(nèi)容過濾等。因此，研究如何對網(wǎng)頁進行高效準確的分類，并將網(wǎng)頁分類結(jié)果進行永久的保存將有著重要的意義。
　　 本文從網(wǎng)頁自動分類的原理和過程出發(fā)，在系統(tǒng)要求分析的基礎上，進行了系統(tǒng)的總體結(jié)構(gòu)設計。詳細研究分析了分類各個階段的技術(shù)和方法，主要包括文本表示

3、模型、中文分詞算法和特征提取算法等，并分析、比較了幾種應用普遍的特征提取算法。針對網(wǎng)頁分類結(jié)果的存儲查詢需求，提出了增量存儲和反饋查詢的策略，有效節(jié)省了存儲空間，同時反饋查詢彌補了網(wǎng)頁收集范圍的局限性。鑒于存儲查詢過程中的URL規(guī)范化需求，提出了一種基于嵌套FSM的URL解析方法，提高了解析的效率和容錯性能。
　　 在對網(wǎng)頁自動分類和存儲技術(shù)研究的基礎上，提出了網(wǎng)頁自動分類和存儲管理系統(tǒng)各模塊的設計與實現(xiàn)方法，最后通過程序設計語