Web數(shù)據(jù)集成中全局模式構(gòu)建方法研究.pdf

1、隨著計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，Web上的信息量也隨之急劇的增長(zhǎng)，使得Web成為巨大的分布廣泛的數(shù)據(jù)源。隨著各行業(yè)對(duì)信息的需求越來(lái)越高，而有效的整合Web上的海量的異構(gòu)的數(shù)據(jù)是一件困難的事情，因而人們提出Web數(shù)據(jù)集成技術(shù)。Web數(shù)據(jù)集成系統(tǒng)能夠?qū)?lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)通過(guò)數(shù)據(jù)抽取、實(shí)體統(tǒng)一等過(guò)程形成結(jié)構(gòu)統(tǒng)一、表意明確的數(shù)據(jù)，能夠?yàn)橛脩舻那閳?bào)分析、商業(yè)決策等應(yīng)用提供支持。
　　 在Web數(shù)據(jù)集成中，Web頁(yè)面中的Web數(shù)據(jù)對(duì)象稱

2、之為Web實(shí)體實(shí)例，來(lái)自不同數(shù)據(jù)源的Web實(shí)體實(shí)例信息在模式上存在著諸多的差異：一方面，對(duì)于相同類型的Web實(shí)體，不同的Web實(shí)體實(shí)例通常包含不同的實(shí)體屬性；另一方面，對(duì)于同一實(shí)體屬性，不同的Web實(shí)體實(shí)例通常使用不同的屬性標(biāo)簽。而且由于Web實(shí)體的動(dòng)態(tài)性特點(diǎn)，包含新的屬性的Web實(shí)體實(shí)例及包含新的屬性標(biāo)簽的Web實(shí)體實(shí)例不斷的出現(xiàn)在Web頁(yè)面中。Web實(shí)體實(shí)例在模式上的諸多差異為數(shù)據(jù)的整合帶來(lái)困難。為了消除各Web實(shí)體實(shí)例間的模式差異

3、，為所有數(shù)據(jù)提供統(tǒng)一的、規(guī)范的模式，需要為Web數(shù)據(jù)集成系統(tǒng)中所有的Web實(shí)體實(shí)例構(gòu)建一個(gè)全局模式。
　　 本文主要研究Web數(shù)據(jù)集成中Web實(shí)體全局模式的構(gòu)建方法，主要工作包括下面幾個(gè)方面：
　　 (1)基于Web實(shí)體實(shí)例在頁(yè)面中的展示特征及Web數(shù)據(jù)集成系統(tǒng)中已有的Web實(shí)體全局模式信息，本文提出一種基于SVM的Web頁(yè)面主數(shù)據(jù)區(qū)域識(shí)別方法，該方法能夠有效的將半結(jié)構(gòu)化及非結(jié)構(gòu)化頁(yè)面進(jìn)行數(shù)據(jù)區(qū)域分割并識(shí)別出Web實(shí)體實(shí)

4、例所在的主數(shù)據(jù)區(qū)域，為Web實(shí)體屬性信息的抽取提供輔助支持。
　　 (2)基于Web實(shí)體屬性標(biāo)簽的特征及Web數(shù)據(jù)集成系統(tǒng)中已有的Web實(shí)體全局模式信息，本文提出一種基于AdaBoost的集成學(xué)習(xí)方法來(lái)從頁(yè)面的主數(shù)據(jù)區(qū)域自動(dòng)的抽取Web實(shí)體的屬性信息，為Web實(shí)體全局模式構(gòu)建提供Web實(shí)體模式信息及屬性標(biāo)簽信息。
　　 (3)基于Web實(shí)體模式信息動(dòng)態(tài)變化的特點(diǎn)，本文提出一種基于SVM的Web實(shí)體全局模式動(dòng)態(tài)構(gòu)建方法，該

5、方法可以有效的建立局部模式與全局模式之間的映射關(guān)系，根據(jù)映射結(jié)果擴(kuò)充全局模式，并且當(dāng)頁(yè)面中出現(xiàn)新的Web實(shí)體屬性信息時(shí)，該方法能夠及時(shí)的將其映射到全局模式中，從而為Web數(shù)據(jù)集成系統(tǒng)中其他方面的工作提供完整有效的Web實(shí)體全局模式。
　　 (4)本文利用Web數(shù)據(jù)集成系統(tǒng)中已有的Web實(shí)體全局模式來(lái)指導(dǎo)Web頁(yè)面主數(shù)據(jù)區(qū)域的識(shí)別及Web實(shí)體屬性信息的抽取，從而提高其準(zhǔn)確率。Web實(shí)體全局模式與Web頁(yè)面主數(shù)據(jù)區(qū)域識(shí)別及Web實(shí)體