主題搜索與Web挖掘的研究及系統(tǒng)實(shí)現(xiàn).pdf

1、隨著因特網(wǎng)的快速發(fā)展,海量的Web數(shù)據(jù)資源已經(jīng)成為人們獲取信息的重要來(lái)源。Web信息的日益增長(zhǎng)使得人們很難快速準(zhǔn)確的找到自己所需的信息,搜索引擎隨之成為人們最普遍使用的信息檢索的工具。但是,目前大多數(shù)的搜索引擎提供的服務(wù)還不能令用戶滿意。由于Web資源具有半結(jié)構(gòu)性、離散性、實(shí)時(shí)性和異構(gòu)性等特點(diǎn),如何對(duì)Web資源進(jìn)行挖掘分析,獲取真正有價(jià)值的信息,并向用戶提供便利的可定制的信息服務(wù),已經(jīng)成為一項(xiàng)重要的研究課題。
　　 本論文的研究

2、內(nèi)容是主題搜索與Web挖掘。在設(shè)計(jì)實(shí)現(xiàn)主題搜索系統(tǒng)BlueSpider的基礎(chǔ)上,重點(diǎn)討論了主題搜索以及Web挖掘的核心技術(shù)。本文的主要工作研究如下:主題網(wǎng)絡(luò)爬蟲:分析了現(xiàn)有的主題爬蟲搜索算法,改進(jìn)了以往的搜索策略,提出了一種基于非貪婪策略的搜索算法。
　　 網(wǎng)頁(yè)內(nèi)容提取:采用遍歷HTML,文檔樹獲取相應(yīng)網(wǎng)頁(yè)內(nèi)容的方法,從而能夠快速、靈活、有效的獲取網(wǎng)頁(yè)中的信息。
　　 Web文檔分析:根據(jù)Web文檔所特有的半結(jié)構(gòu)化及編碼