半結(jié)構(gòu)化網(wǎng)頁(yè)的信息抽取技術(shù)研究.pdf

1、隨著國(guó)際互聯(lián)網(wǎng)的迅猛發(fā)展,網(wǎng)絡(luò)已經(jīng)成為人們發(fā)布和獲取信息的一個(gè)重要平臺(tái)。目前,大部分網(wǎng)頁(yè)都是通過(guò)服務(wù)器根據(jù)請(qǐng)求從后臺(tái)數(shù)據(jù)庫(kù)中查詢相關(guān)數(shù)據(jù),然后展示到一個(gè)列表頁(yè)面當(dāng)中。這些頁(yè)面一般都是由特定的入口查詢獲得的,而且網(wǎng)頁(yè)中的數(shù)據(jù)很難被其它應(yīng)用程序直接利用。因此如何自動(dòng)抽取這些頁(yè)面中的重要信息就變得非常重要。
　　 介紹了網(wǎng)頁(yè)信息抽取技術(shù)的概念,要解決的主要問(wèn)題以及相關(guān)技術(shù),分析了常用的網(wǎng)頁(yè)信息抽取算法及優(yōu)缺點(diǎn)。針對(duì)現(xiàn)有方法對(duì)主數(shù)據(jù)區(qū)域

2、的定位不準(zhǔn)確的問(wèn)題,將最大扇出子樹(shù)法、最大內(nèi)容量增大法和最大標(biāo)記量法三種啟發(fā)式規(guī)則相結(jié)合,定位網(wǎng)頁(yè)的主數(shù)據(jù)區(qū)域。在數(shù)據(jù)記錄分離的過(guò)程中,現(xiàn)有方法需要對(duì)所有子樹(shù)進(jìn)行相似度判斷,算法效率較低,針對(duì)這一問(wèn)題,提出了一種基于樹(shù)編輯距離的聚類算法,增加了聚類算法,減少了予樹(shù)的比較次數(shù),提高了算法效率。同時(shí)采用樹(shù)編輯距離表示子樹(shù)之間的相似度,更符合網(wǎng)頁(yè)的層次結(jié)構(gòu),算法準(zhǔn)確率更高。聚類后得到數(shù)據(jù)記錄的候選分割方案,給出了類之間相似度的計(jì)算公式,獲得最