基于Solr的海量數(shù)據(jù)并行索引及搜索緩存研究.pdf

1、隨著互聯(lián)網信息技術的快速發(fā)展，企業(yè)信息化程度不斷提高，各個行業(yè)內的數(shù)據(jù)信息急劇增長，而且信息的存在形式也越來越多樣。這也使得如何使用戶能夠快速、精確的從企業(yè)的海量數(shù)據(jù)中找出所需要的關鍵信息變得越來越重要，而解決這一個問題的關鍵就是搜索引擎技術。隨著開源企業(yè)級搜索應用服務器Solr的出現(xiàn)，越來越多的企業(yè)開始構建以此為基礎的海量數(shù)據(jù)搜索服務系統(tǒng)。
　　傳統(tǒng)的搜索方式是使用文本數(shù)據(jù)庫，雖然文本數(shù)據(jù)庫和搜索引擎的技術基礎都是全文檢索技術，

2、但是文本數(shù)據(jù)庫在處理海量數(shù)據(jù)方面的能力無法跟搜索引擎相媲美。搜索引擎采用服務器集群和分布式計算的策略，能夠處理較大的數(shù)據(jù)量。在海量數(shù)據(jù)的背景下，如何更好地利用開源Solr搜索引擎服務器搭建起快速高效的搜索引擎也成為重要的研究課題之一。
　　本文針對這種需求，在基于Solr搜索引擎服務器的基礎上，進行海量數(shù)據(jù)搜索服務的研究。本文首先分析搜索引擎服務器集群的運行特點，運用隨機過程中的排隊模型對集群系統(tǒng)的可用性進行分析。接著在可用性的基

3、礎上深入研究搜索引擎的索引構建和搜索索引兩個關鍵過程。索引構建的過程是將文本轉化為能夠被搜索引擎搜索的索引文件。本文在分析的基礎上提出并行索引的方式，將文檔構建索引過程中的部分串行操作并行化，并通過性能負載均衡的策略提高各節(jié)點的資源利用率，以應對海量數(shù)據(jù)構建索引的場景，加速索引的構建。對于搜索的過程，本文首先分析Solr的搜索過程，提出分級緩存模型。模型將頻繁搜索的熱點數(shù)據(jù)放置在緩存中，并對緩存數(shù)據(jù)進行分級，同時提出熱相關數(shù)據(jù)的概念，通