基于本體的面向股票領域搜索引擎的實現(xiàn)技術研究.pdf

1、當今互聯(lián)網(wǎng)搜索引擎主要分為通用搜索引擎和面向領域的搜索引擎(也稱為垂直搜索引擎)，而后者又成為搜索引擎技術發(fā)展的一大趨勢。因為在某些用戶有特定要求的領域，通用搜索引擎存在著許多弊端，比如索引內(nèi)容無法覆蓋某一特定領域，海量存儲不利于索引內(nèi)容的實時更新等等。這些都需要在面向領域的搜索引擎中加以解決。 本文首先深入介紹了通用搜索引擎的基本原理，結(jié)構和工作機制。在此基礎上闡釋了目前面向領域的開源搜索引擎中比較流行的Lucene技術，這項

2、技術也是本文其他部分實現(xiàn)的基礎。 在數(shù)據(jù)采集方面針對通用搜索引擎網(wǎng)絡爬行器(Crawler)在專業(yè)性數(shù)據(jù)采集上能力不強的弊端，設計實現(xiàn)了面向領域的聚焦網(wǎng)絡爬行器(Focus Crawler)，有效地改善了面向領域的搜索引擎的效率。 然后介紹了網(wǎng)頁數(shù)據(jù)抽取技術的基本原理并實現(xiàn)了基于統(tǒng)計的網(wǎng)頁正文信息抽取方法。通過對若干股票類網(wǎng)站的網(wǎng)頁分析，可以得出該方法在具有通用性的同時，保持了較高的準確性，其準確率可以達到90％以上，具

3、有一定的實用性。 再者，目前搜索引擎在檢索時主要還是基于傳統(tǒng)的“關鍵字匹配”，而每個領域都有自己專用的詞匯和用語，并且同一個詞在不同領域會有不同的含義，再加上用戶進行Web信息檢索時輸入的關鍵詞通常比較簡單，從而導致通用搜索引擎的查詢結(jié)果集膨脹，查準率低，用戶必須在大量的與自己查詢意圖相關和不相關的結(jié)果集中尋找自己需要的東西。 由于本體是知識表示模型中最有表達能力的一種模型，又具有其他知識表示模型的特征，因此利用本體所具