主題搜索引擎爬行策略的研究.pdf

1、隨著互聯(lián)網(wǎng)信息的持續(xù)爆炸性增長，通用搜索引擎的信息覆蓋率和檢索精度都在不斷下降，發(fā)展主題搜索引擎已經(jīng)成為趨勢。由于主題搜索引擎搜索的內(nèi)容只限于特定主題或?qū)ｉT領(lǐng)域，被通用搜索引擎所廣泛采用的基于圖的遍歷搜索策略(如廣度或深度優(yōu)先算法)已不再適用，因此，以何種策略訪問Web(即主題爬行策略)已成為近年來主題搜索引擎研究的關(guān)鍵問題之一。 本文從提高主題爬蟲的搜索效率和搜索精度出發(fā)，在以下四個方面對主題搜索引擎的爬行策略進(jìn)行了較為深入的

2、研究。 首先，本文基于現(xiàn)階段國內(nèi)外網(wǎng)絡(luò)爬蟲的研究進(jìn)展，在分析和比較現(xiàn)有主題網(wǎng)絡(luò)爬蟲搜索策略的優(yōu)缺點(diǎn)的基礎(chǔ)上，探討了網(wǎng)絡(luò)爬蟲主題價(jià)值預(yù)測的準(zhǔn)確性、重要性及主題網(wǎng)絡(luò)資源覆蓋度的搜索策略，以提高主題爬蟲的自適應(yīng)性和搜索效率。 其次，為了提高網(wǎng)絡(luò)爬蟲預(yù)測鏈接價(jià)值的準(zhǔn)確性，本文提出了Shark改進(jìn)算法，其主要思想是：通過改進(jìn)Shark算法來提高搜索相關(guān)網(wǎng)頁的能力以及降低優(yōu)先排序空間復(fù)雜度和時間復(fù)雜度，提高搜索效率、節(jié)約大量時間和資

3、源。 再次，為了提高網(wǎng)絡(luò)爬蟲的自適應(yīng)性，本文針對傳統(tǒng)網(wǎng)絡(luò)爬蟲存在的價(jià)值評價(jià)標(biāo)準(zhǔn)單一的問題，提出了一種基于綜合價(jià)值的綜合爬行策略，此策略根據(jù)不同的搜索階段選擇采用符合實(shí)際情況的最優(yōu)搜索策略。 最后，本研究采用改進(jìn)的Shark算法和自行設(shè)計(jì)的綜合爬行策略相結(jié)合，實(shí)現(xiàn)了一個基于多種搜索策略的主題搜索引擎網(wǎng)絡(luò)爬蟲系統(tǒng)原型。本系統(tǒng)綜合了網(wǎng)頁的相關(guān)性和重要性兩方面的需要，不僅能夠準(zhǔn)確、自動地爬行到主題相關(guān)網(wǎng)頁，從而提高信息搜索的效率