基于多特征的HTML網(wǎng)頁(yè)內(nèi)容提取的研究.pdf

1、網(wǎng)頁(yè)內(nèi)往往包含豐富而不同的內(nèi)容，可以分為主題相關(guān)內(nèi)容和主題不相關(guān)內(nèi)容，識(shí)別出主題相關(guān)內(nèi)容應(yīng)用于網(wǎng)頁(yè)檢索，分類等，可以很大程度上節(jié)約空間以及提高這些應(yīng)用的性能。此方面的研究已經(jīng)有很多，也取得了很大的成果，其中研究較多和應(yīng)用較廣的是利用分塊思想：首先將網(wǎng)頁(yè)看作是由多個(gè)分離的聚集塊組成，然后識(shí)別并取得需要的主題相關(guān)內(nèi)容，即主題信息塊。識(shí)別并提取網(wǎng)頁(yè)主題相關(guān)內(nèi)容的這一過(guò)程稱為網(wǎng)頁(yè)內(nèi)容提取。網(wǎng)頁(yè)內(nèi)容提取對(duì)Web中的Hub型網(wǎng)頁(yè)和主題型網(wǎng)頁(yè)有不同的

2、含義，對(duì)前者是找到該網(wǎng)頁(yè)中非噪音內(nèi)容的主要鏈接：對(duì)后者是發(fā)現(xiàn)描述網(wǎng)頁(yè)主題內(nèi)容的文本以及相關(guān)鏈接。本文的研究主要著眼于以下幾個(gè)方面： 首先，本文研究介紹了網(wǎng)頁(yè)的類型劃分以及分析了幾種較為有效的劃分網(wǎng)頁(yè)類型的算法，并在此基礎(chǔ)上提出了一種改進(jìn)的網(wǎng)頁(yè)類型劃分的方法。這種改進(jìn)的算法分為兩個(gè)階段。首先利用VIPS算法將網(wǎng)頁(yè)劃分為一個(gè)個(gè)的信息塊，然后分別判斷每一塊的類型，并根據(jù)這些信息塊中是否存在一個(gè)滿足要求的主題型信息塊來(lái)判斷網(wǎng)頁(yè)的類型。實(shí)

3、驗(yàn)結(jié)果表明該方法能準(zhǔn)確的劃分出網(wǎng)頁(yè)的類型，正確率達(dá)到98.6％。 其次，本文總結(jié)了以往網(wǎng)頁(yè)內(nèi)容提取的各種方法，在此基礎(chǔ)上，提出了一種新的網(wǎng)頁(yè)內(nèi)容提取算法，該算法在網(wǎng)頁(yè)分塊的基礎(chǔ)上，分析每一塊的特征，得到了主題信息塊的多個(gè)特征。并利用概率論對(duì)這些特征進(jìn)行量化，得到每個(gè)特征與信息塊為主題內(nèi)容的一個(gè)對(duì)應(yīng)的概率關(guān)系，最后綜合信息塊的所有特征計(jì)算得到這個(gè)信息塊是主題內(nèi)容的總的概率，通過(guò)將這個(gè)概率與閾值的比較來(lái)判斷信息塊的性質(zhì)。通過(guò)實(shí)驗(yàn)可以

4、明顯地看到新算法有效地提取了網(wǎng)頁(yè)的主題內(nèi)容，并優(yōu)于其它同類算法。 最后，本文給出了兩個(gè)具體的網(wǎng)頁(yè)內(nèi)容提取的應(yīng)用：Hidden Web分類和Web檢索。在Hidden Web分類中，通過(guò)應(yīng)用本文提出的新的網(wǎng)頁(yè)內(nèi)容提取算法得到Hidden Web的文本描述信息，并將其作為一個(gè)分類影響因素，從而明顯的提高了分類的效果。在Web檢索中，本文用新的網(wǎng)頁(yè)內(nèi)容提取算法提取網(wǎng)頁(yè)主題內(nèi)容，對(duì)實(shí)驗(yàn)集建立索引，進(jìn)行檢索，并與同類方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果