搜索引擎中索引技術研究與實現(xiàn).pdf

1、本文主要圍繞搜索引擎中核心技術之一的倒排索引技術進行展開，主要包括索引的組織結構，構建過程，壓縮編碼技術，動態(tài)更新技術，大規(guī)模數(shù)據(jù)存儲技術等，其中以索引壓縮、動態(tài)更新和大規(guī)模數(shù)據(jù)存儲為研究重點，并在此的基礎上設計了一個用于實驗環(huán)境的原型系統(tǒng)。 索引壓縮和編碼可以有效的節(jié)約存儲空間，減少I/O流量，提高系統(tǒng)吞吐率。壓縮的缺點是在對索引進行處理的時需要解壓縮，比如查詢、更新，會占用一定的CPU時間。本文提出了一種混合編碼策略，其有效

2、地在壓縮率、解壓時間和動態(tài)性能之間達到權衡。 索引動態(tài)更新是為了支持在現(xiàn)實檢索環(huán)境下文本集頻繁地進行變化的動態(tài)檢索環(huán)境。本文對比了幾種動態(tài)更新策略，對它們在索引構建和動態(tài)維護中通過實驗進行了對比分析。在此基礎上，針對實時性要求較高動態(tài)檢索環(huán)境，對在線索引技術進行了探討。在線索引是當前研究的熱點和難點，其允許在動態(tài)更新的同時提供檢索服務，以滿足高實時性的要求。 針對大規(guī)模數(shù)據(jù)的存儲和處理問題，設計了一種分布式數(shù)據(jù)存儲和處理