Deep Web查詢接口聚類的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)日新月異的發(fā)展,Web中蘊含的信息也在極速的擴張著。從網(wǎng)絡(luò)中信息的隱含的層次深度來看。我們可以將Web劃分“Surface Web”(表層網(wǎng))和“Deep Web”(深層網(wǎng))?！癝urface Web”是指那些我們無需向網(wǎng)絡(luò)提交查詢或請求而可以直接訪問的 Web頁面,這也是傳統(tǒng)的搜索引擎,如:百度、google等當(dāng)前所涉及的搜索領(lǐng)域;而對于“Deep Web”,用戶必須通過填寫表單或提交請求,才能獲取所需數(shù)據(jù)。并且“Dee

2、p Web”中的信息具有以下5方面特點:(1)傳統(tǒng)的搜索引擎無法獲取;(2)用戶通過填寫表單來獲取信息;(3)蘊含的信息質(zhì)量更高,數(shù)量更大;(4)領(lǐng)域特征明顯;(5)大部分可以免費訪問。而傳統(tǒng)的通用搜索引擎的搜索結(jié)果僅僅覆蓋了“Surface Web”,因此并不能為用戶返回有效的查詢結(jié)果。為了向用戶提供高效的Deep Web信息搜索服務(wù),關(guān)鍵是要向用戶提供一個包含各個領(lǐng)域的統(tǒng)一的集成查詢接口。正如百度和谷歌那樣,一個簡單的搜索框。在研究

3、Deep Web數(shù)據(jù)集成時,由于Deep Web的特殊性,使研究工作面臨種種困難,目前一個公認(rèn)的有效途徑就是按照領(lǐng)域來進(jìn)行Deep Web數(shù)據(jù)集成。而如何對不同領(lǐng)域的Deep Web查詢接口進(jìn)行有效的聚類,便成為生成集成查詢接口時需要解決的核心問題之一。并且已經(jīng)成為當(dāng)前學(xué)術(shù)界和商業(yè)界的研究熱點。
　　論文圍繞Deep Web查詢接口聚類這一核心問題展開。所做的研究工作及貢獻(xiàn)如下:
　　一、對Deep Web領(lǐng)域整體的研究背景

4、、研究現(xiàn)狀、發(fā)展趨勢和需要解決的關(guān)鍵問題進(jìn)行了分析和總結(jié)。為后續(xù)研究工作打下基礎(chǔ)。
　　二、對Deep Web查詢接口預(yù)處理進(jìn)行初步探索。對本體相關(guān)概念、體構(gòu)建方法和本體構(gòu)建工具進(jìn)行深入研究。通過構(gòu)建領(lǐng)域本體,對Deep Web查詢接口進(jìn)行語義擴展。增加同一領(lǐng)域內(nèi)查詢接口的相似度。解決部分查詢接口屬性稀疏的問題。
　　三、提出了基于潛在語義分析的Deep Web查詢接口聚類算法。為解決Deep Web查詢接口聚類時“一詞多義

5、”的問題開辟新的思路。首先對潛在語義分析(LSA)的理論進(jìn)行了深入研究,在查詢接口聚類時引入潛在語義分析的方法,消除噪聲數(shù)據(jù),發(fā)掘出查詢接口之間的內(nèi)在語義關(guān)系。實驗結(jié)果表明,新算法得出的實驗結(jié)果要優(yōu)于傳統(tǒng)的基于向量空間模型(VSM)的方法。
　　四、研究在海量數(shù)據(jù)情況下,如何提升查詢接口聚類算法的性能?？紤]到 Deep Web查詢接口逐漸呈現(xiàn)出海量的特性,以及大數(shù)據(jù)時代的到來。對Hadoop分布式平臺和MapReduce編程模型進(jìn)