Web數(shù)據(jù)抽取技術(shù)的研究.pdf

1、隨著當(dāng)今世界互聯(lián)網(wǎng)的快速發(fā)展，Web已經(jīng)發(fā)展成為一個(gè)巨大的和共享的信息空間，這些大量的數(shù)據(jù)可以為進(jìn)一步的數(shù)據(jù)集成、數(shù)據(jù)挖掘等系統(tǒng)提供數(shù)據(jù)支持，Web數(shù)據(jù)抽取正是為了研究如何從網(wǎng)頁(yè)中將用戶可能感興趣的數(shù)據(jù)抽取出來。本文主要針對(duì)列表頁(yè)和內(nèi)容頁(yè)兩種形式的網(wǎng)頁(yè)分別進(jìn)行了研究。
　　列表頁(yè)是指包含一個(gè)或多個(gè)對(duì)象列表類型的網(wǎng)頁(yè)，至今已經(jīng)有一些關(guān)于自動(dòng)抽取列表頁(yè)數(shù)據(jù)的研究，但由于網(wǎng)頁(yè)的組織形式多變、模板不統(tǒng)一，存在以下問題：列表頁(yè)數(shù)據(jù)記錄的組織

2、方式具有多樣性，從而導(dǎo)致可能會(huì)將多條真正的數(shù)據(jù)記錄當(dāng)作一條數(shù)據(jù)記錄抽取出來；已有的簡(jiǎn)單樹匹配算法算法只考慮節(jié)點(diǎn)的標(biāo)簽名，而實(shí)際的網(wǎng)頁(yè)中數(shù)據(jù)記錄的很多字段的標(biāo)簽名是相同的，導(dǎo)致兩條數(shù)據(jù)記錄存在多個(gè)有著相同最高分的匹配。針對(duì)以上問題，本文在挖掘出數(shù)據(jù)區(qū)域之后，對(duì)構(gòu)成數(shù)據(jù)區(qū)域的可能數(shù)據(jù)記錄節(jié)點(diǎn)進(jìn)行進(jìn)一步地分析，從而識(shí)別出真正的數(shù)據(jù)記錄，然后在已有的簡(jiǎn)單樹匹配的基礎(chǔ)上加入了對(duì)節(jié)點(diǎn)所包含內(nèi)容的考慮，提高了抽取數(shù)據(jù)字段的準(zhǔn)確率。
　　無結(jié)構(gòu)內(nèi)

3、容頁(yè)側(cè)重對(duì)一個(gè)對(duì)象的具體描述，本文實(shí)現(xiàn)了一種基于分塊思想的內(nèi)容頁(yè)正文信息抽取算法。在對(duì)網(wǎng)頁(yè)進(jìn)行分塊的階段，采用基于DOM樹結(jié)構(gòu)和頁(yè)面的視覺信息的算法，將網(wǎng)頁(yè)進(jìn)行合理地分塊。得到合理的分塊結(jié)果之后，采用分類學(xué)習(xí)方法對(duì)訓(xùn)練集進(jìn)行學(xué)習(xí)，建立塊的空間特征到塊是否屬于正文的映射關(guān)系，實(shí)現(xiàn)正文塊的選取。對(duì)于結(jié)構(gòu)型的內(nèi)容頁(yè)，通過對(duì)兩個(gè)相似頁(yè)面的匹配，實(shí)現(xiàn)對(duì)象的屬性值數(shù)據(jù)的自動(dòng)抽取。由于結(jié)構(gòu)型內(nèi)容頁(yè)的頁(yè)面四周會(huì)包含一些廣告等噪音數(shù)據(jù)，而相似頁(yè)面之間的廣