版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、隨著Internet的迅速發(fā)展,簡易、可擴(kuò)展、平臺無關(guān)的Web技術(shù)逐漸盛行,Web動態(tài)頁面也正在逐步取代靜態(tài)頁面?;赪eb動態(tài)頁面的一些特性,深度網(wǎng)頁(亦稱Deep Web或深網(wǎng))的出現(xiàn)也就成了必然的趨勢。搜索引擎的出現(xiàn)在一定程度上為用戶搜集、獲取網(wǎng)絡(luò)信息提供了有效的途徑。傳統(tǒng)的搜索引擎呈現(xiàn)給用戶的主要是類似純文本的非結(jié)構(gòu)化數(shù)據(jù),但深度網(wǎng)頁數(shù)據(jù)作為一種結(jié)構(gòu)化數(shù)據(jù),顯然無法通過傳統(tǒng)搜索引擎被獲取到。隨著對深度網(wǎng)頁技術(shù)研究的不斷深入,通過
2、搜索引擎獲取深度網(wǎng)頁數(shù)據(jù)已經(jīng)成為深度網(wǎng)頁研究領(lǐng)域的一項新課題。
本文主要是基于深度網(wǎng)頁爬蟲并結(jié)合Lucene搜索引擎構(gòu)架中的核心索引類和核心查詢類構(gòu)建了一種基于深度網(wǎng)頁爬蟲的搜索引擎原型。在整個原型系統(tǒng)的實現(xiàn)過程中,主要從深度網(wǎng)頁站點信息搜集、深度網(wǎng)頁查詢接口判定、深度網(wǎng)頁表面預(yù)處理以及關(guān)聯(lián)表單查詢模板輸入值等四個方面對深度網(wǎng)頁爬蟲的研究和實現(xiàn)進(jìn)行了分析和探討。本文在查詢接口判定方面,主要是根據(jù)DOM樹的原理,對網(wǎng)頁數(shù)據(jù)進(jìn)
3、行了特征分析和識別。
在對深度網(wǎng)頁進(jìn)行表面預(yù)處理方面,本文提出了關(guān)聯(lián)表單查詢模板的選擇算法。這種算法是在對網(wǎng)頁表單輸入值進(jìn)行建模的基礎(chǔ)上,通過對表單頁面的查詢處理過程進(jìn)行分析和研究所提出的。另外,在表單查詢模板輸入值的選擇方面,本文采用了一種迭代探索的算法,結(jié)合加權(quán)分析技術(shù),對后臺表單數(shù)據(jù)庫通過查詢獲取到深度網(wǎng)頁中的數(shù)據(jù)。
在搜索引擎構(gòu)架方面,本文利用了Lucene開源搜索引擎框架提供的兩個核心類,即核心索引
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 網(wǎng)頁搜索引擎的使用
- 垂直搜索引擎爬蟲系統(tǒng)的研究與實現(xiàn).pdf
- 搜索引擎中網(wǎng)絡(luò)爬蟲的研究與實現(xiàn).pdf
- 搜索引擎中主題爬蟲的研究與實現(xiàn).pdf
- 垂直搜索引擎主題爬蟲研究.pdf
- 搜索引擎中網(wǎng)頁分類和網(wǎng)頁凈化的研究與實現(xiàn).pdf
- 主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實現(xiàn).pdf
- 基于搜索引擎網(wǎng)頁排序算法研究.pdf
- 搜索引擎中網(wǎng)絡(luò)爬蟲的研究.pdf
- 基于網(wǎng)頁自動分類的搜索引擎研究.pdf
- 基于Agent的專題搜索引擎爬蟲的研究.pdf
- 基于網(wǎng)頁分塊思想的搜索引擎索引系統(tǒng).pdf
- 基于網(wǎng)頁分塊的主題搜索引擎的研究與實現(xiàn).pdf
- 通信搜索引擎中爬蟲程序的設(shè)計與實現(xiàn).pdf
- 基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎研究與實現(xiàn).pdf
- 基于垂直搜索引擎的主題爬蟲算法的研究.pdf
- 搜索引擎中主題爬蟲算法的研究.pdf
- 搜索引擎系統(tǒng)網(wǎng)頁消重的研究與實現(xiàn).pdf
- 基于增量式爬蟲的搜索引擎系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于內(nèi)容的搜索引擎網(wǎng)頁去重研究.pdf
評論
0/150
提交評論