基于深度網(wǎng)絡(luò)的信息爬取研究及應(yīng)用.pdf

1、隨著信息技術(shù)的發(fā)展，深度網(wǎng)絡(luò)蘊(yùn)含的數(shù)據(jù)越來越多，如何有效地獲取深度網(wǎng)絡(luò)中的數(shù)據(jù)已經(jīng)成為當(dāng)前的研究熱點(diǎn)。深度網(wǎng)絡(luò)往往只提供一個(gè)查詢接口供用戶使用，用戶需要提交查詢關(guān)鍵詞從深度網(wǎng)絡(luò)中獲取數(shù)據(jù)。
　　目前，存在較多關(guān)鍵詞查詢算法，典型的有Google使用的TF-IDF算法和Ntoulas等人提出的自適應(yīng)貪婪算法。TF-IDF算法只關(guān)注深度網(wǎng)絡(luò)中的重要文檔，不關(guān)注單個(gè)深度網(wǎng)絡(luò)的文檔覆蓋率，適用于大型爬蟲。自適應(yīng)貪婪算法利用貪心的思想獲取最

2、大的單個(gè)深度網(wǎng)絡(luò)文檔覆蓋率，效果較好，適合于中小型爬蟲。本文主要工作如下：
　　根據(jù)實(shí)際項(xiàng)目的需要，本文重點(diǎn)研究了自適應(yīng)貪婪算法。在此基礎(chǔ)上，本文提出了基于關(guān)鍵詞相關(guān)度篩選的自適應(yīng)貪婪算法。在某些專業(yè)領(lǐng)域中，關(guān)鍵詞高度關(guān)聯(lián)，本文提出利用關(guān)鍵詞相關(guān)度來衡量不同關(guān)鍵詞間的關(guān)聯(lián)度，根據(jù)關(guān)鍵詞的相關(guān)度篩選關(guān)鍵詞，避免提交高度關(guān)聯(lián)的關(guān)鍵詞造成返回結(jié)果集的較大冗余。
　　當(dāng)網(wǎng)站限制返回查詢結(jié)果數(shù)量時(shí)，返回結(jié)果集是原結(jié)果集的子集。受TF-

3、IDF思想啟發(fā)，本文提出一種關(guān)鍵詞加權(quán)選詞法，認(rèn)為包含關(guān)鍵詞少的文檔和包含高詞頻關(guān)鍵詞的文檔帶來的冗余更小，比其他的文檔更重要。出現(xiàn)頻率高和關(guān)聯(lián)關(guān)鍵詞少的關(guān)鍵詞會(huì)被優(yōu)先選取，同時(shí)為了避免提交查詢次數(shù)過多，利用關(guān)鍵詞詞頻閾值判斷來避免匹配文檔過低的關(guān)鍵詞。
　　本文實(shí)現(xiàn)的深度網(wǎng)絡(luò)爬蟲系統(tǒng)，利用改進(jìn)的算法來獲取深度網(wǎng)絡(luò)的數(shù)據(jù)。在爬蟲系統(tǒng)中主要實(shí)現(xiàn)了URL管理模塊、文檔下載模塊、信息抽取模塊、文本緩存模塊、查詢請求生成模塊等。有效地解決

4、了大量URL管理、文檔信息抽取，深度網(wǎng)絡(luò)關(guān)鍵詞有效選取等問題。爬蟲連續(xù)運(yùn)行較長時(shí)間，成功獲取上百萬文檔，達(dá)到中小爬蟲的性能。
　　通過對不同類型的數(shù)據(jù)，包括新浪、搜狐、騰訊、網(wǎng)易的新聞數(shù)據(jù)和萬方的論文摘要數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，并將效果和原算法進(jìn)行對比，說明在專業(yè)領(lǐng)域，基于關(guān)鍵詞篩選的自適應(yīng)貪婪選算法在文檔覆蓋率等同的條件下單位資源消耗量少于原算法；在返回結(jié)果受限制的深度網(wǎng)絡(luò)中，關(guān)鍵詞加權(quán)選詞法在文檔覆蓋率、單位文檔資源消耗量都優(yōu)于原算