搜索引擎Nutch在數(shù)字圖書館中集成應(yīng)用的研究與實現(xiàn).pdf

1、計算機(jī)技術(shù)與通信網(wǎng)絡(luò)技術(shù)高速發(fā)展，網(wǎng)頁資源日益成為一種重要的學(xué)術(shù)資源形式，在數(shù)字圖書館的資源建設(shè)中受到重視。然而網(wǎng)絡(luò)信息有著數(shù)據(jù)量大，更新速度快、分布靈活分散，無序化等特點。因此，如何實現(xiàn)對特定領(lǐng)域、學(xué)科的實時監(jiān)測和有效分析，使圖書館用戶在檢索專業(yè)內(nèi)容時，可以從網(wǎng)絡(luò)信息中更快速，更準(zhǔn)確的找到有用信息，成為數(shù)字圖書館專題資源建設(shè)工作的重點研究課題。
　　 本文在數(shù)字圖書館系統(tǒng)集成應(yīng)用的框架下，通過對主題搜索引擎技術(shù)原理和應(yīng)用的研究

2、，對目前具有代表性的開源網(wǎng)絡(luò)抓取軟件進(jìn)行了比較分析，最終選擇在Nutch基礎(chǔ)之上進(jìn)行多種擴(kuò)展和改進(jìn)，采用正則表達(dá)式過濾、lucene全文索引、基于字典的中文分詞、多線程控制、webservice、層次化自動聚類等關(guān)鍵技術(shù)，研究并實現(xiàn)了基于Nutch的專題網(wǎng)絡(luò)資源定向采集服務(wù)系統(tǒng)N—WHSS（Nutch—based WebsiteHarvest and Service system in Special field）。N-WHSS系統(tǒng)在引

3、入搜索引擎基本架構(gòu)模型，即抓取器、索引器、查詢器的基礎(chǔ)上，根據(jù)數(shù)字圖書館系統(tǒng)集成應(yīng)用的實用化要求，設(shè)計開發(fā)了GUI信息定制模塊、信息過濾模塊、基于字典的中文分詞模塊、專題知識庫信息加工標(biāo)引模塊和基于webservice的檢索服務(wù)模塊。使得系統(tǒng)功能和性能方面以及實用性、易用性方面都有很大的提升。此外，在系統(tǒng)獨立功能實現(xiàn)的基礎(chǔ)上，本文特別研究了系統(tǒng)在數(shù)字圖書館中的集成應(yīng)用，介紹了與中心倉儲系統(tǒng)、資源加工系統(tǒng)和統(tǒng)一檢索系統(tǒng)的集成，提高了系統(tǒng)的