結(jié)合網(wǎng)頁結(jié)構(gòu)特征與內(nèi)容特征的正文提取.pdf

1、為了方便人們的閱讀習(xí)慣、網(wǎng)頁的排版格局以及網(wǎng)站的商業(yè)目的，網(wǎng)頁中往往充斥了許多與網(wǎng)頁正文無關(guān)的內(nèi)容，如導(dǎo)航條、相關(guān)鏈接和商業(yè)廣告等信息。無關(guān)信息的存在，對網(wǎng)頁的檢索、存儲以及分類都會帶來負(fù)面的影響。如何將正文從充滿了無關(guān)信息的網(wǎng)頁中提取出來，成為對網(wǎng)頁進(jìn)行充分利用的關(guān)鍵。
　　網(wǎng)頁正文提取成為當(dāng)前研究的熱點(diǎn)，并且，已有許多國內(nèi)外學(xué)者提出了不同的提取方法，但這些方法也存在著一些不足：基于統(tǒng)計(jì)的方法由于重點(diǎn)關(guān)注網(wǎng)頁的統(tǒng)計(jì)信息，很少利用

2、網(wǎng)頁的結(jié)構(gòu)特征，提取的準(zhǔn)確率往往不高；基于DOM的方法復(fù)雜度較高，對網(wǎng)頁的規(guī)范化要求比較嚴(yán)格，對書寫不規(guī)范的網(wǎng)頁的解析將不會徹底，有時(shí)候甚至在解析的過程中發(fā)生崩潰；基于視覺特征的提取方法盡管能滿足復(fù)雜頁面的要求，然而，由于視覺特征復(fù)雜多樣，因此，實(shí)現(xiàn)起來較為復(fù)雜。
　　針對上述問題，本文通過對大量網(wǎng)頁進(jìn)行研究，從網(wǎng)頁的結(jié)構(gòu)特征和內(nèi)容特征出發(fā)，試圖找出一種通用的、能夠快速準(zhǔn)確的對網(wǎng)頁正文部分內(nèi)容進(jìn)行提取的方法，主要內(nèi)容包括：

3、　?、偻ㄟ^網(wǎng)頁的URL地址從互聯(lián)網(wǎng)上下載網(wǎng)頁，將網(wǎng)頁源碼以字符串的形式保存，利用正則表達(dá)式完成對網(wǎng)頁中與正文無關(guān)的元素的過濾。分析網(wǎng)頁的結(jié)構(gòu)特征，利用HTML中的容器標(biāo)簽對網(wǎng)頁進(jìn)行線性分塊，避免了網(wǎng)頁標(biāo)簽之間的嵌套關(guān)系。
　?、诶梅謮K之后各塊中文本以及標(biāo)點(diǎn)符號分布的內(nèi)容特征，將其分別劃分為文本塊與鏈接塊。其中，文本塊主要存在與網(wǎng)頁正文部分，而鏈接塊通常位于網(wǎng)頁的“噪音”部分。
　?、劬W(wǎng)頁中“噪音”內(nèi)容通常是連續(xù)出現(xiàn)的，根據(jù)