基于多特征的Web頁面分塊算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，Web已成為人們獲取信息的重要來源。為了滿足人們不斷增長的從互聯(lián)網(wǎng)上獲取信息的需求，Web信息抽取技術(shù)不可避免地成為當(dāng)今研究的技術(shù)熱點(diǎn)。由于互聯(lián)網(wǎng)上的Web頁面往往具有多樣性、不規(guī)范性、包含信息復(fù)雜以及半結(jié)構(gòu)化等特性，這些特性為Web信息抽取技術(shù)帶來了很大的困難。如何使Web信息抽取技術(shù)不受Web頁面特性影響而具有通用性，并能精確地抽取頁面信息成為Web信息抽取技術(shù)亟待解決的問題。
　　 在對復(fù)雜的Web頁

2、面進(jìn)行信息抽取的過程中，Web頁面分塊技術(shù)成為目前研究的一個(gè)方向。然而，目前的Web頁面分塊算法多數(shù)利用單一特征信息對Web頁面進(jìn)行分塊，不能很好地應(yīng)對復(fù)雜多變的Web頁面類型。針對這種情況，本文提出了基于多特征的Web頁面分塊算法，該算法先將Web頁面分成若干個(gè)相互獨(dú)立的語義塊，再根據(jù)應(yīng)用的需要，從中選取具有相應(yīng)語義特征的語義塊進(jìn)行信息抽取。本文首先分析了Web頁面中的布局特征、顯示特征、語義特征和文檔結(jié)構(gòu)特征等多特征信息，建立了基于

3、多特征的Web頁面語義塊模型。在此基礎(chǔ)上，本文提出了基于多特征的Web頁面分塊算法MFPS，并闡述了MFPS分塊算法的基本思想和執(zhí)行過程。然后，本文重點(diǎn)闡述了MFPS分塊算法的實(shí)現(xiàn)，其中分析并解決了相似塊識(shí)別的問題，闡述了包括單行類型、多行類型、多塊類型、行塊交替類型等類型的結(jié)點(diǎn)序列的合并方法，給出了包括語義類型、分割類型、多特征信息的識(shí)別方法，給出了MFPS分塊算法的形式化描述，并對MFPS分塊算法的性能做了分析。最后，本文提出了以M