一種可擴(kuò)展的面向中文主題搜索引擎的研究與設(shè)計(jì).pdf

1、面向主題的搜索引擎是一種分類精確細(xì)致、更新及時(shí)的搜索引擎,是搜索引擎的細(xì)分和延伸。隨著Web信息的爆炸增長(zhǎng)以及信息多元化的發(fā)展,主題搜索引擎正成為研究熱點(diǎn)與發(fā)展趨勢(shì)。與通用搜索引擎相比,主題搜索引擎由于檢索范圍較小,查準(zhǔn)率和查全率易于保證。本文的研究對(duì)象是Web這樣的動(dòng)態(tài)海量信息載體,研究的主要目的是要得到一種支持海量網(wǎng)頁(yè)信息搜集、具有健壯的網(wǎng)頁(yè)預(yù)處理、并提供相應(yīng)規(guī)模的索引和查詢接口的中文主題搜索引擎系統(tǒng)。本文所做的可擴(kuò)展性工作主要體現(xiàn)

2、在網(wǎng)絡(luò)蜘蛛信息搜集和查詢服務(wù)實(shí)現(xiàn)兩方面。
　　基于對(duì)網(wǎng)頁(yè)性質(zhì)及其分布的認(rèn)識(shí),本文提出一種可擴(kuò)展網(wǎng)絡(luò)蜘蛛信息搜集系統(tǒng)體系結(jié)構(gòu)。系統(tǒng)可以讓用戶根據(jù)自己對(duì)信息的興趣,配置用于引導(dǎo)系統(tǒng)搜集的主題導(dǎo)向詞,以及搜集范圍。同時(shí),盡可能地使用和遵循現(xiàn)有的標(biāo)準(zhǔn)和協(xié)議。在不需要改動(dòng)或改動(dòng)很少的配置的情況下,適用不同主題的信息抓取。搜集系統(tǒng)力圖在搜集策略、開放性、可定制性等方面得到一個(gè)很好的折衷。網(wǎng)絡(luò)蜘蛛采用Fish搜索算法動(dòng)態(tài)地調(diào)整爬行方向,從而保證

3、了抓取網(wǎng)頁(yè)的主題相關(guān)性。網(wǎng)絡(luò)蜘蛛的可擴(kuò)展性主要體現(xiàn)在種子鏈接發(fā)現(xiàn)、增量式抓取、多線程和限定抓取類型等。實(shí)驗(yàn)結(jié)果表明,網(wǎng)絡(luò)蜘蛛具有較強(qiáng)的抓取能力,很好地解決了搜索引擎的數(shù)據(jù)來(lái)源問(wèn)題。
　　針對(duì)網(wǎng)絡(luò)蜘蛛搜集來(lái)的主題網(wǎng)頁(yè)進(jìn)行一系列的預(yù)處理,抽取其中的網(wǎng)頁(yè)URL、標(biāo)題、正文內(nèi)容、錨文本等。針對(duì)網(wǎng)頁(yè)URL編碼的不同而造成的網(wǎng)頁(yè)亂碼現(xiàn)象,采用統(tǒng)一的字符集和編碼方案。設(shè)計(jì)一個(gè)中文搜索引擎,索引創(chuàng)建需要一個(gè)高效的倒排算法。本文從索引文件本身出發(fā),

4、采用分級(jí)的倒排表索引組織結(jié)構(gòu),提高了索引創(chuàng)建的效率。本文還結(jié)合中文分詞技術(shù),構(gòu)建一定規(guī)模的詞庫(kù),嘗試解決中文搜索引擎存在的查準(zhǔn)率和檢索精度問(wèn)題。
　　在查詢服務(wù)階段,增量和合并的配置策略對(duì)索引進(jìn)行了擴(kuò)展,實(shí)現(xiàn)索引文檔的動(dòng)態(tài)更新。本文結(jié)合Lucene索引包特點(diǎn),在達(dá)到索引合并閾值時(shí),通過(guò)微調(diào)Lucene內(nèi)置參數(shù),有效避免頻繁地改動(dòng)和合并大索引塊。同時(shí),本文還給出基于Ajax技術(shù)的搜索引擎異步模式,這樣極大地豐富了Web的表現(xiàn)力,也因