Deep Web數(shù)據(jù)集成關(guān)鍵問(wèn)題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展,Web已經(jīng)成為一個(gè)巨大的信息源,擁有著海量數(shù)據(jù)。這些數(shù)據(jù)具有重要的價(jià)值,目前許多應(yīng)用領(lǐng)域,如市場(chǎng)情報(bào)分析等迫切需要利用這些數(shù)據(jù)進(jìn)行分析挖掘,從中獲取有用知識(shí),最大程度的進(jìn)行輔助決策。但是,Web數(shù)據(jù)具有大規(guī)模、異構(gòu)性、自治性、分布式等特點(diǎn),這使得Web數(shù)據(jù)的分析挖掘變得尤為困難,當(dāng)務(wù)之急是要對(duì)其進(jìn)行集成,為分析挖掘提供高質(zhì)量數(shù)據(jù)。根據(jù)Web中所蘊(yùn)含信息的“深度”,可以將Web分為Surface Web和De

2、ep Web。Deep Web數(shù)據(jù)在數(shù)量和質(zhì)量上遠(yuǎn)遠(yuǎn)超過(guò)了Surface Web,具有更高的應(yīng)用價(jià)值。因此,如何進(jìn)行Deep Web數(shù)據(jù)集成,以便于更有效的分析挖掘,具有重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景。
　　 現(xiàn)在對(duì)Deep Web的研究主要側(cè)重于面向查詢的Deep Web數(shù)據(jù)集成,這種集成方式獲取的數(shù)據(jù)量有限,適用于用戶即時(shí)查詢需求,但是難以勝任以分析挖掘?yàn)槟繕?biāo)的應(yīng)用。本文致力于面向分析的Deep Web數(shù)據(jù)集成研究,目標(biāo)在于

3、最大限度地獲取Deep Web頁(yè)面,運(yùn)用抽取與消重技術(shù)得到結(jié)構(gòu)化良好、高質(zhì)量的數(shù)據(jù),為進(jìn)一步的分析挖掘提供數(shù)據(jù)支持。面向分析的DeepWeb數(shù)據(jù)集成存在以下問(wèn)題有待解決:(1)由于分析挖掘需要大量的數(shù)據(jù),而這些數(shù)據(jù)在Deep Web中來(lái)自于領(lǐng)域內(nèi)多個(gè)Web數(shù)據(jù)庫(kù)動(dòng)態(tài)產(chǎn)生的Deep Web頁(yè)面,因此,需要自動(dòng)地最大限度地獲取這些頁(yè)面；(2)由于分析挖掘需要結(jié)構(gòu)化良好的、語(yǔ)義豐富的數(shù)據(jù),而這些數(shù)據(jù)存在于復(fù)雜的、半結(jié)構(gòu)化的DeepWeb頁(yè)面中

4、,因此,需要從頁(yè)面中準(zhǔn)確地進(jìn)行結(jié)構(gòu)化數(shù)據(jù)的抽取,并進(jìn)行語(yǔ)義理解；(3)由于分析挖掘需要統(tǒng)一的高質(zhì)量數(shù)據(jù),而這些數(shù)據(jù)重復(fù)存在于同一領(lǐng)域多個(gè)Web數(shù)據(jù)庫(kù)中,因此,需要進(jìn)行多個(gè)Web數(shù)據(jù)庫(kù)之間的重復(fù)記錄檢測(cè)。
　　 本文以面向分析的Deep Web數(shù)據(jù)集成為目標(biāo),針對(duì)其中存在的關(guān)鍵問(wèn)題展開(kāi)研究,主要工作與貢獻(xiàn)概括如下:
　　 1.提出一種基于擴(kuò)展證據(jù)理論的Deep Web查詢接口匹配方法,有效解決了同一領(lǐng)域內(nèi)不同Web數(shù)據(jù)庫(kù)爬

5、取時(shí)的查詢接口語(yǔ)義理解問(wèn)題。
　　 同一領(lǐng)域內(nèi)存在大量的Web數(shù)據(jù)庫(kù),這些Web數(shù)據(jù)庫(kù)的查詢接口模式之間具有異構(gòu)性,導(dǎo)致在爬取不同Web數(shù)據(jù)庫(kù)時(shí)難以通過(guò)統(tǒng)一的方式識(shí)別出需要投放查詢?cè)~的接口屬性,影響Deep Web頁(yè)面的獲取。針對(duì)這一問(wèn)題,本文提出一種基于擴(kuò)展證據(jù)理論的Deep Web查詢接口匹配方法,通過(guò)構(gòu)建待爬取Web數(shù)據(jù)庫(kù)查詢接口與其對(duì)應(yīng)的領(lǐng)域查詢接口之間的匹配關(guān)系,理解該查詢接口屬性的語(yǔ)義信息。該方法充分利用了查詢接口的

6、多種特征,構(gòu)建不同匹配器,通過(guò)動(dòng)態(tài)預(yù)測(cè)每個(gè)匹配器的可信度擴(kuò)展現(xiàn)有的證據(jù)理論,進(jìn)行多個(gè)匹配器結(jié)果的組合,提高組合的適應(yīng)能力；通過(guò)top-k全局最優(yōu)策略和樹(shù)結(jié)構(gòu)啟發(fā)式規(guī)則進(jìn)行匹配決策,得到最終的匹配關(guān)系,利用該匹配關(guān)系理解待爬取Web數(shù)據(jù)庫(kù)查詢接口。實(shí)驗(yàn)結(jié)果表明,該方法具有較高的匹配準(zhǔn)確率,有效克服了現(xiàn)有查詢接口匹配方法適應(yīng)能力差導(dǎo)致匹配準(zhǔn)確率較低的不足。
　　 2.提出一種基于查詢?cè)~采新率模型的Web數(shù)據(jù)庫(kù)爬取方法,有效解決了De

7、ep Web頁(yè)面的大規(guī)模獲取問(wèn)題。
　　 以分析挖掘?yàn)槟繕?biāo)的應(yīng)用需要大量的Deep Web數(shù)據(jù),這些數(shù)據(jù)來(lái)自領(lǐng)域內(nèi)多個(gè)Web數(shù)據(jù)庫(kù)動(dòng)態(tài)生成的Deep Web頁(yè)面,但是Web數(shù)據(jù)庫(kù)特有的查詢接口訪問(wèn)方式,使得傳統(tǒng)的搜索引擎爬蟲(chóng)無(wú)法爬取其中的內(nèi)容。針對(duì)這一問(wèn)題,本文提出一種基于查詢?cè)~采新率模型的Web數(shù)據(jù)庫(kù)爬取方法。該方法通過(guò)對(duì)Web數(shù)據(jù)庫(kù)進(jìn)行采樣,利用采樣數(shù)據(jù),選擇多種特征自動(dòng)構(gòu)建訓(xùn)練樣本,避免樣本的手工標(biāo)注;利用多元線性回歸方法

8、,通過(guò)訓(xùn)練樣本構(gòu)建查詢?cè)~采新率模型,借助該模型迭代選擇查詢?cè)~進(jìn)行查詢提交,從而實(shí)現(xiàn)對(duì)Web數(shù)據(jù)庫(kù)的爬取。實(shí)驗(yàn)結(jié)果表明,利用該方法爬取Web數(shù)據(jù)庫(kù)具有較高的覆蓋率,有效地克服了現(xiàn)有Web數(shù)據(jù)庫(kù)爬取方法采用啟發(fā)式規(guī)則選取查詢?cè)~的單一化和經(jīng)驗(yàn)化的不足,學(xué)習(xí)得到的查詢?cè)~采新率模型可以有效應(yīng)用于同一領(lǐng)域其它Web數(shù)據(jù)庫(kù)的爬取。
　　 3.提出一種基于層次聚類的Deep Web數(shù)據(jù)抽取方法,有效解決了DeepWeb頁(yè)面中結(jié)構(gòu)化數(shù)據(jù)的自動(dòng)抽取

9、問(wèn)題。
　　 Deep Web頁(yè)面以半結(jié)構(gòu)化形式存在,難以對(duì)其中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行自動(dòng)化處理。針對(duì)這一問(wèn)題,本文提出一種基于層次聚類的Deep Web數(shù)據(jù)抽取方法。該方法通過(guò)利用查詢結(jié)果列表頁(yè)面的信息來(lái)輔助識(shí)別Deep Web頁(yè)面中的內(nèi)容塊,確定數(shù)據(jù)抽取的區(qū)域；通過(guò)綜合利用多個(gè)Deep Web頁(yè)面的結(jié)構(gòu)和內(nèi)容特征,對(duì)這些頁(yè)面中同一內(nèi)容塊中的內(nèi)容結(jié)點(diǎn)特征向量進(jìn)行層次聚類,從而實(shí)現(xiàn)Web數(shù)據(jù)記錄的抽取。實(shí)驗(yàn)結(jié)果表明,該方法具有較高的抽

10、取準(zhǔn)確率,有效克服了現(xiàn)有大部分方法僅利用頁(yè)面自身結(jié)構(gòu)信息導(dǎo)致抽取準(zhǔn)確率較低的不足。
　　 4.提出一種基于約束條件隨機(jī)場(chǎng)的Deep Web數(shù)據(jù)語(yǔ)義標(biāo)注方法,有效解決了Deep Web數(shù)據(jù)語(yǔ)義缺失以及多個(gè)Web站點(diǎn)數(shù)據(jù)記錄之間的模式異構(gòu)問(wèn)題。
　　 對(duì)于抽取后的Web數(shù)據(jù)記錄,如果單獨(dú)依賴Deep Web頁(yè)面中現(xiàn)有的語(yǔ)義標(biāo)簽進(jìn)行標(biāo)注,則無(wú)法處理語(yǔ)義標(biāo)簽缺失情況,而且不同站點(diǎn)通常使用不同語(yǔ)義標(biāo)簽,造成不同站點(diǎn)Web數(shù)據(jù)記錄之

11、間模式上的異構(gòu)。針對(duì)以上問(wèn)題,本文提出一種基于約束條件隨機(jī)場(chǎng)的Deep Web數(shù)據(jù)語(yǔ)義標(biāo)注方法。該方法利用已有的Web數(shù)據(jù)庫(kù)信息構(gòu)建可信約束,利用Web數(shù)據(jù)記錄中數(shù)據(jù)元素之間的邏輯關(guān)系構(gòu)建邏輯約束,將兩類約束引入傳統(tǒng)的條件隨機(jī)場(chǎng)模型,構(gòu)建約束條件隨機(jī)場(chǎng)模型,采用整數(shù)線性規(guī)劃推理方法,利用領(lǐng)域Web數(shù)據(jù)庫(kù)模式的全局屬性標(biāo)簽集為Web數(shù)據(jù)記錄中的每個(gè)數(shù)據(jù)元素賦予對(duì)應(yīng)的語(yǔ)義標(biāo)簽,從而實(shí)現(xiàn)對(duì)Deep Web數(shù)據(jù)的語(yǔ)義標(biāo)注,同時(shí)也實(shí)現(xiàn)多個(gè)Web站

12、點(diǎn)數(shù)據(jù)記錄之間的模式統(tǒng)一。實(shí)驗(yàn)結(jié)果表明,該方法具有較高的語(yǔ)義標(biāo)注準(zhǔn)確率,有效地克服了傳統(tǒng)條件隨機(jī)場(chǎng)無(wú)法綜合利用已有的Web數(shù)據(jù)庫(kù)信息和Web數(shù)據(jù)元素之間邏輯關(guān)系導(dǎo)致標(biāo)注準(zhǔn)確率較低的不足。
　　 5.提出一種基于無(wú)監(jiān)督學(xué)習(xí)的重復(fù)記錄檢測(cè)方法,有效解決了Deep Web中大規(guī)模重復(fù)記錄檢測(cè)的問(wèn)題。
　　 同一領(lǐng)域內(nèi)Web數(shù)據(jù)庫(kù)數(shù)量多且數(shù)據(jù)冗余度高,難以為分析挖掘提供高質(zhì)量數(shù)據(jù)。針對(duì)這一問(wèn)題,本文提出一種基于無(wú)監(jiān)督學(xué)習(xí)的重復(fù)記