基于Crawler的Web服務(wù)搜索研究.pdf

1、隨著Web服務(wù)技術(shù)的不斷發(fā)展,企業(yè),組織或個(gè)人都可以根據(jù)Web服務(wù)規(guī)范將某個(gè)商業(yè)應(yīng)用或?qū)崿F(xiàn)某個(gè)功能的應(yīng)用程序發(fā)布為Web服務(wù),并可選擇發(fā)布方式,規(guī)定允許被調(diào)用的用戶范圍等,從而被互聯(lián)網(wǎng)中的用戶發(fā)現(xiàn)并使用。但是隨著目前幾個(gè)公用的UDDI注冊(cè)中心的關(guān)閉,最常用的基于UDDI注冊(cè)中心的Web服務(wù)發(fā)現(xiàn)方式的弊端越來越明顯。用戶想要找到提供某個(gè)功能的Web服務(wù)經(jīng)常要查找多個(gè)UDDI或代理中心,這些UDDI或代理中心通常是提供分類瀏覽的查找方式,因

2、此查找過程需要花費(fèi)大量的時(shí)間,甚至找不到需要的Web服務(wù),具有較低的查全率?；谕ㄓ盟阉饕娴腤eb服務(wù)搜索雖然查全率高,但是往往搜索到大量無用的信息,查準(zhǔn)率比較低。因此Web服務(wù)搜索和發(fā)現(xiàn)成為Web服務(wù)發(fā)展的一個(gè)瓶頸。
　　 本文借助搜索引擎技術(shù)在Web資源搜索上強(qiáng)大的優(yōu)勢(shì),設(shè)計(jì)了一個(gè)基于Crawler的Web服務(wù)搜索模型,該模型利用專用的網(wǎng)絡(luò)爬蟲來搜索互聯(lián)網(wǎng)上的Web服務(wù)描述文檔(WSDL),通過篩選,從而提供一個(gè)Web服務(wù)

3、信息庫,供用戶進(jìn)行二次檢索和匹配。在設(shè)計(jì)專用搜索引擎時(shí),首先設(shè)計(jì)網(wǎng)絡(luò)爬蟲,并對(duì)網(wǎng)頁抓取和WSDL文檔提取過程遇到的關(guān)鍵問題進(jìn)行分析和設(shè)計(jì)；其次對(duì)Web服務(wù)信息庫的二次檢索和匹配的策略進(jìn)行分析和設(shè)計(jì)；最后主要實(shí)現(xiàn)專用搜索引擎模塊來搜索互聯(lián)網(wǎng)上的Web服務(wù)。通過對(duì)搜索引擎中關(guān)鍵問題的分析和設(shè)計(jì)如基于二叉樹存儲(chǔ)的URL消重策略的設(shè)計(jì),基于十六叉樹存儲(chǔ)和遍歷的DNS緩存策略的設(shè)計(jì)等提高了網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁的速度和效率；通過設(shè)計(jì)基于網(wǎng)頁重要度的信息