Deep Web查詢接口發(fā)現(xiàn)與特征提取技術(shù)研究.pdf

1、伴隨著Internet快速發(fā)展，許多網(wǎng)絡(luò)應(yīng)用深入人們?nèi)粘Ｉ?，搜索引擎技術(shù)是其中的佼佼者。傳統(tǒng)的搜索引擎技術(shù)無法找到的網(wǎng)絡(luò)數(shù)據(jù)資源被稱為Deep Web。Deep Web數(shù)據(jù)挖掘研究是網(wǎng)絡(luò)數(shù)據(jù)管理與集成的熱點研究方向。
　　 現(xiàn)階段的Deep Web研究主要集中在查詢接口深度集成和查詢結(jié)果模式抽取兩方面，目的是建立起Deep Web數(shù)據(jù)集成框架，但是真正的集成體系尚未構(gòu)建完善。作為集成框架的基礎(chǔ)，正確有效的進行Deep Web查

2、詢接口發(fā)現(xiàn)、分類、集成處理尤為重要。本文研究工作是尋找一種自動深度網(wǎng)查詢接口發(fā)現(xiàn)技術(shù)和查詢接口特征提取技術(shù)從而有效的進行查詢接口深度集成，主要研究及成果如下：
　　 第一：Deep Web頁面的標(biāo)簽特性、視覺特性、層次特性
　　 通過對大量Deep Web頁面的分析，發(fā)現(xiàn)了Deep Web頁面存在著標(biāo)簽特性，視覺特性，層次特性。標(biāo)簽特性方面，分析Deep Web頁面的HTML文檔將其標(biāo)簽結(jié)構(gòu)轉(zhuǎn)化為樹形結(jié)構(gòu)，從而更好的利用

3、計算機進行數(shù)據(jù)分析和處理；視覺特性方面，分析了Deep Web頁面的頁面布局，通過對各個標(biāo)簽的視覺特征屬性進行分析從而將其轉(zhuǎn)化為視覺塊，標(biāo)簽視覺塊的有效組合拼湊構(gòu)成了頁面整體：層次特性方面，根據(jù)人們?yōu)g覽網(wǎng)頁資源時的視覺特性以及網(wǎng)頁標(biāo)簽的樹形結(jié)構(gòu)，構(gòu)建標(biāo)簽樹層次結(jié)構(gòu)對應(yīng)的視覺圖層，頁面是視覺圖層的疊加。
　　 第二：基于層次結(jié)構(gòu)的Deep Web查詢接口發(fā)現(xiàn)
　　 結(jié)合Deep Web頁面的標(biāo)簽、視覺、層次特征，文本提出了

4、基于層次結(jié)構(gòu)的DeepWeb查詢接口發(fā)現(xiàn)技術(shù)。該方法通過分析頁面的總體標(biāo)簽結(jié)構(gòu)構(gòu)建出頁面的標(biāo)簽樹，通過分析標(biāo)簽的視覺特征構(gòu)建出視覺塊，然后將標(biāo)簽樹各個層次按視覺塊堆積轉(zhuǎn)化為視覺圖層，分析查詢接口的標(biāo)簽特性和視覺特性以及查詢接口占據(jù)頁面核心區(qū)域的特點，最后計算控件標(biāo)簽的聚合度來判斷查詢接口。
　　 第三：基于潛在領(lǐng)域的查詢接口特征提取
　　 深度網(wǎng)查詢接口由多個控件和詞組匯集而成，本文將查詢接口轉(zhuǎn)化為純文本，然后結(jié)合文本處