面向汽車主題的垂直搜索引擎研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)已經(jīng)成為一個巨大的海量信息空間，人們在互聯(lián)網(wǎng)上搜索信息主要利用百度等通用搜索引擎，這類搜索引擎功能已經(jīng)十分強大，基本可以滿足用戶的需求，但是當用戶搜索一些面向主題的信息時，這類搜索引擎往往顯得力不從心。垂直搜索引擎的出現(xiàn)，正是為了解決此類問題。
　　 本文首先介紹了垂直搜索引擎的特點及工作原理，然后詳細分析了開源網(wǎng)絡(luò)爬蟲Heritrix的系統(tǒng)結(jié)構(gòu)。在此基礎(chǔ)上，提出了設(shè)計特定的解析器，解析特定網(wǎng)站，以及擴展Heritrix的

2、鏈接處理器，抓取特定鏈接，來實現(xiàn)定制抓取的目的；然后通過消除robots.txt對個別處理器的影響，以及引入哈希算法，實現(xiàn)了高效、多線程抓取的目的。
　　 本文采用Lucene作為全文檢索引擎，首先深入剖析了Lucene的系統(tǒng)結(jié)構(gòu)，并詳細闡述了Lucene的倒排索引技術(shù)和索引結(jié)構(gòu)，然后通過分析Lucene原有排序算法，得知其只考慮網(wǎng)頁內(nèi)容本身，不能反映出網(wǎng)頁的重要性的不足，通過引入基于鏈接分析的PageRank算法，改進了Luc

3、ene原有排序算法，排序結(jié)果更加符合用戶預(yù)期。
　　 本文在上述研究的基礎(chǔ)上，根據(jù)汽車愛好者查詢汽車信息的一般要求，建立了一個面向汽車主題的垂直搜索引擎，設(shè)計了各個子系統(tǒng)，并實現(xiàn)了改進的爬蟲和排序算法。
　　 最后，本文在建立的垂直搜索引擎系統(tǒng)上，首先通過查詢實驗，驗證了垂直搜索引擎相對通用搜索引擎的直觀優(yōu)勢，然后通過對改進前后的爬蟲抓取網(wǎng)頁速度對比，以及對改進后爬蟲在不同線程數(shù)、不同運行時間的條件下抓取網(wǎng)頁速度的分析，