基于Lucene的Web搜索引擎的研究.pdf

1、隨著網(wǎng)絡(luò)信息量正不斷地以指數(shù)規(guī)模增長，人類已步入信息爆炸時代。面對浩如煙海的網(wǎng)絡(luò)信息，如何才能迅速、方便地獲取有效信息，日益成為人們關(guān)心的問題。搜索引擎的出現(xiàn)極大地緩解了這一矛盾。搜索引擎是一種應(yīng)用在Web上的軟件系統(tǒng)，它以一定的策略在互聯(lián)網(wǎng)中進行搜集、發(fā)現(xiàn)信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的。
　　 在當(dāng)前網(wǎng)絡(luò)信息的大環(huán)境里，網(wǎng)絡(luò)上出現(xiàn)了很多商業(yè)性的Web搜索引擎，如Google

2、、Baidu、Sougo等，他們極大地方便了網(wǎng)絡(luò)用戶。但由于他們的商業(yè)性質(zhì)，其關(guān)鍵技術(shù)對于外界是保密的。為推進搜索引擎技術(shù)的發(fā)展，Apache基金會推出了一個開源的全文搜索引擎工具包Lucene。Lucene可以方便地嵌入到各種應(yīng)用中，實現(xiàn)針對具體應(yīng)用的全文檢索功能，近些年來在世界各地被廣泛應(yīng)用。本文在現(xiàn)有搜索引擎理論的基礎(chǔ)上，以Lucene為基礎(chǔ)，并結(jié)合XML數(shù)據(jù)存儲的思想，從不同層次研究了以Lucene為核心的搜索引擎的構(gòu)建。

3、>　　 本文的主要工作體現(xiàn)在以下三個方面：
　　 1.分析了當(dāng)前搜索引擎的工作機制和關(guān)鍵技術(shù)，特別深刻地剖析了Lucene的索引引擎機制和搜索引擎機制，并在此基礎(chǔ)上設(shè)計了基于Lucene的Web搜索引擎架構(gòu)。
　　 2.對于編寫要求不嚴謹?shù)腍TML實現(xiàn)的網(wǎng)頁要真正做到高效準確的挖掘數(shù)據(jù)非常困難。相對于HTML，XML可以更好地實現(xiàn)Web中的信息共享與交換。本文提出了XML數(shù)據(jù)抽取模塊的設(shè)計思想，采用XML文件存儲準備被