Deep Web數(shù)據(jù)獲取問(wèn)題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為一個(gè)擁有海量數(shù)據(jù)的信息源。DeepWeb主要由Web中可在線訪問(wèn)的數(shù)據(jù)庫(kù)構(gòu)成，信息更豐富、主題性更強(qiáng)、結(jié)構(gòu)化更好。隨著分析型應(yīng)用如市場(chǎng)情報(bào)分析、輿情分析、電子商務(wù)等需求的增長(zhǎng)，亟需對(duì)Deep Web數(shù)據(jù)進(jìn)行集成，從中分析挖掘有用知識(shí)。但由于DeepWeb具有大規(guī)模性、數(shù)據(jù)海量性、實(shí)時(shí)動(dòng)態(tài)變化、異構(gòu)性以及分布性等特點(diǎn)，并且Deep Web數(shù)據(jù)只能通過(guò)向Web數(shù)據(jù)庫(kù)的查詢接口提交查詢這一特殊方式獲取，使得如何

2、自動(dòng)地從Deep Web數(shù)據(jù)源獲取數(shù)據(jù)成為一項(xiàng)十分具有挑戰(zhàn)性的工作。
　　 作為集成工作的第一步，Deep Web數(shù)據(jù)獲取為Deep Web數(shù)據(jù)集成奠定數(shù)據(jù)基礎(chǔ)，是數(shù)據(jù)抽取和數(shù)據(jù)整合工作的前提。目前，Deep Web數(shù)據(jù)獲取工作主要存在以下問(wèn)題有待解決：(1)Deep Web網(wǎng)站的增長(zhǎng)速度快、時(shí)刻動(dòng)態(tài)變化，而分析挖掘需要全面的數(shù)據(jù)，因此面向分析的Deep Web數(shù)據(jù)獲取需要自動(dòng)發(fā)現(xiàn)盡可能多的Deep Web數(shù)據(jù)源。(2)Deep

3、 Web數(shù)據(jù)源質(zhì)量良莠不齊、爬取過(guò)程繁雜并且爬取周期長(zhǎng)，為了合理分配資源需要擇優(yōu)汰劣，分析挖掘需求要求對(duì)已發(fā)現(xiàn)的數(shù)據(jù)源進(jìn)行評(píng)估，選擇優(yōu)質(zhì)數(shù)據(jù)源以獲得更多更全面的信息。(3)Deep Web數(shù)據(jù)源中的數(shù)據(jù)眾多，數(shù)據(jù)爬取過(guò)程中提交不同的查詢?cè)~返回的結(jié)果集合存在大量的數(shù)據(jù)重疊，為了全面高效獲取Deep Web數(shù)據(jù)源中的數(shù)據(jù)，需要對(duì)提交的查詢?cè)~進(jìn)行選擇。
　　 本文以面向分析的Deep Web數(shù)據(jù)獲取為目標(biāo)，對(duì)Deep Web查詢接口判

4、定、Deep Web數(shù)據(jù)源采樣、評(píng)估以及Deep Web數(shù)據(jù)爬取等多個(gè)具有挑戰(zhàn)性的實(shí)際問(wèn)題進(jìn)行了系統(tǒng)和深入地研究，主要工作與貢獻(xiàn)概括如下：
　　 1.提出了一種基于集成學(xué)習(xí)的Deep Web查詢接口判定方法，有效解決了大量Web頁(yè)面中Deep Web查詢接口識(shí)別問(wèn)題，能夠準(zhǔn)確地將Deep Web查詢接口與搜索引擎的查詢接口區(qū)別開(kāi)來(lái)，提高了Deep Web查詢接口識(shí)別的準(zhǔn)確率。
　　 本文提出了一種使用決策樹(shù)以及SVM進(jìn)行

5、集成學(xué)習(xí)的方法建立DeepWeb查詢接口判定模型，達(dá)到更有效地識(shí)別Deep Web查詢接口的目的。一方面針對(duì)Deep Web查詢接口頁(yè)面進(jìn)行分析，提出了判斷頁(yè)面中是否含有查詢接口的6條規(guī)則，利用簡(jiǎn)單高效的決策樹(shù)對(duì)頁(yè)面進(jìn)行分類；另一方面針對(duì)Deep Web查詢接口與搜索引擎的查詢接口提交查詢后獲得的結(jié)果頁(yè)面進(jìn)行分析，主要利用結(jié)果頁(yè)面的特征訓(xùn)練SVM對(duì)頁(yè)面進(jìn)行分類，采用重抽樣思想得到訓(xùn)練數(shù)據(jù)集，有效減弱類別不平衡性對(duì)學(xué)習(xí)算法的影響；最后基于

6、投票的方式對(duì)決策樹(shù)和多個(gè)SVM進(jìn)行集成。該方法可以將Web數(shù)據(jù)庫(kù)的查詢接口與搜索引擎的查詢接口有效地區(qū)別開(kāi)來(lái)，達(dá)到更準(zhǔn)確地識(shí)別Deep Web查詢接口的目的。實(shí)驗(yàn)表明該方法具有良好的可行性和運(yùn)行效率，與使用簡(jiǎn)單機(jī)器學(xué)習(xí)的識(shí)別算法相比可以獲得更高的查全率和查準(zhǔn)率。
　　 2.在隨機(jī)漫步算法的基礎(chǔ)上，提出了一種基于關(guān)鍵詞選擇模型的DeepWeb數(shù)據(jù)源采樣方法，有效地從Deep Web數(shù)據(jù)源中獲得近似隨機(jī)的高質(zhì)量樣本，以供Deep W

7、eb數(shù)據(jù)源評(píng)估使用。
　　 本文提出了一種針對(duì)關(guān)鍵詞屬性擴(kuò)展隨機(jī)漫步算法的Deep Web數(shù)據(jù)源采樣方法，使采樣過(guò)程不受查詢接口中屬性表達(dá)形式的限制。采樣過(guò)程中，對(duì)于關(guān)鍵詞屬性構(gòu)建選擇模型，從目前的樣本集中按照出現(xiàn)頻率降序選擇該屬性的一個(gè)值，將其遞交給查詢接口；對(duì)于分類屬性和范圍屬性采用隨機(jī)漫步算法策略。該方法有效地從。Deep Web數(shù)據(jù)源中獲得近似隨機(jī)的高質(zhì)量樣本，通過(guò)樣本可以了解該數(shù)據(jù)源的領(lǐng)域相關(guān)性、準(zhǔn)確性、完整性、數(shù)據(jù)規(guī)

8、模等有用的特征，以供Deep Web數(shù)據(jù)源評(píng)估和選擇使用。
　　 3.提出了一種基于多目標(biāo)決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評(píng)估方法，有效解決了同一領(lǐng)域大規(guī)模Deep Web數(shù)據(jù)源質(zhì)量評(píng)估問(wèn)題。
　　 本文提出基于多目標(biāo)決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評(píng)估方法，通過(guò)建立Deep Web數(shù)據(jù)源質(zhì)量評(píng)估模型，對(duì)每一個(gè)Deep Web數(shù)據(jù)源進(jìn)行量化評(píng)分，將評(píng)估問(wèn)題映射到多目標(biāo)決策領(lǐng)域進(jìn)行求解，對(duì)Deep Web數(shù)

9、據(jù)源排序，以選擇優(yōu)質(zhì)數(shù)據(jù)源。針對(duì)分析型應(yīng)用對(duì)Deep Web數(shù)據(jù)集成的需求，提出了Deep Web數(shù)據(jù)源質(zhì)量評(píng)估體系，利用已獲得的數(shù)據(jù)樣本，從Web數(shù)據(jù)源質(zhì)量、查詢接口及結(jié)果返回質(zhì)量、數(shù)據(jù)質(zhì)量以及用戶評(píng)價(jià)等4個(gè)維度對(duì)16個(gè)質(zhì)量評(píng)估因素進(jìn)行量化評(píng)分，將評(píng)分結(jié)果映射為多目標(biāo)決策問(wèn)題求解，對(duì)各質(zhì)量評(píng)估因素計(jì)算權(quán)重，最終獲得每一個(gè)Deep Web數(shù)據(jù)源的總評(píng)估值進(jìn)而對(duì)Deep Web數(shù)據(jù)源排序，選擇優(yōu)質(zhì)數(shù)據(jù)源，盡可能減少需要爬取的DeepWeb

10、數(shù)據(jù)源的數(shù)量。
　　 4.提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法，有效解決了中文環(huán)境中的Deep Web數(shù)據(jù)頁(yè)面的大規(guī)模獲取問(wèn)題。
　　 本文提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法。該方法針對(duì)某一特定領(lǐng)域統(tǒng)計(jì)漢字字頻，獲取一個(gè)面向領(lǐng)域的屬性高頻字列表；構(gòu)建屬性高頻字覆蓋率圖模型用于估算候選漢字的新數(shù)據(jù)獲取率，以較少次的數(shù)據(jù)庫(kù)查詢獲得盡可能高的數(shù)據(jù)覆蓋。該方法有效解決了中