基于組合特征的網(wǎng)頁主題塊識別算法.pdf

1、在當今的互聯(lián)網(wǎng)時代，Web是信息的重要來源，網(wǎng)頁則是展示信息的重要媒介。網(wǎng)頁傳遞著各種信息，但是其中有大量噪音信息嚴重影響了Web信息的自動化挖掘和采集。如何準確的識別出網(wǎng)頁的主題信息成為了計算機科學的研究熱點。本文對各種Web頁面主題信息識別的技術(shù)進行了分析和總結(jié)，針對僅利用視覺特征或文本特征來識別Web頁面主題信息算法的不足，提出了一種基于組合特征的主題塊識別算法，實驗證明本算法有效的提高了網(wǎng)頁主題信息識別的準確率和穩(wěn)定性。

2、　　本研究主要內(nèi)容包括：⑴實現(xiàn)并改進了VIPS算法。改進了網(wǎng)頁分塊規(guī)則，對網(wǎng)頁塊尺寸閾值采用了動態(tài)調(diào)整的方式來調(diào)整分塊粒度，使得分塊后的網(wǎng)頁塊語義更加完整。⑵借鑒BM25算法的思想，提出了計算網(wǎng)頁塊內(nèi)容與主題相關(guān)性的算法模型BBM25。BBM25以網(wǎng)頁塊為基本單位，從核心詞的權(quán)重、網(wǎng)頁塊中核心詞的詞頻、網(wǎng)頁塊的文本內(nèi)容長度等幾個方面來考慮。⑶提出了基于組合特征的主題塊識別算法。對網(wǎng)頁分塊后，利用SVM根據(jù)網(wǎng)頁塊的視覺特征預測網(wǎng)頁塊是否為