Web網(wǎng)頁正文抽取方法研究.pdf

1、隨著Internet的迅速發(fā)展，WWW已發(fā)展為一個龐大的信息空間，為人們供了極其豐富的信息資源。然而一個網(wǎng)頁的正文四周，通常會夾雜著許多與正文不相關(guān)的“噪音信息”，這些內(nèi)容往往對人們?yōu)g覽網(wǎng)頁造成干擾。如何幫助人們提取出網(wǎng)頁正文，避開不相關(guān)的信息干擾，對于Web數(shù)據(jù)清洗、文檔自動摘要的形成以及文檔分類等諸多領(lǐng)域的應(yīng)用都是非常有意義的。
　　 本文對DSE(Data-rich Sub-tree Extraction)算法進(jìn)行分析，提

2、出了一種改進(jìn)的基于網(wǎng)頁結(jié)構(gòu)和內(nèi)容的網(wǎng)頁正文抽取算法--DTE(DOM-Based TextExtraction)，設(shè)計并實現(xiàn)了一個網(wǎng)頁正文抽取原型系統(tǒng)，并將該算法應(yīng)用到其中。DTE算法彌補了許多已有算法只關(guān)注網(wǎng)頁結(jié)構(gòu)或只關(guān)注網(wǎng)頁內(nèi)容的不足，同時考慮網(wǎng)頁的結(jié)構(gòu)和內(nèi)容。
　　 DTE算法在把網(wǎng)頁解析成DOM樹的基礎(chǔ)上，通過對DOM樹的節(jié)點比較和匹配，確定網(wǎng)頁的噪音信息節(jié)點和正文信息節(jié)點，從而精確獲取網(wǎng)頁模板。當(dāng)新網(wǎng)頁出現(xiàn)時，使用得到