基于SolrCloud平臺的分布式全文檢索系統(tǒng)的設計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，海量數(shù)據(jù)不斷涌入人們的日常生活、學習和工作中，如何存儲和管理這些飛速增長的數(shù)據(jù)？如何從已有的這些海量數(shù)據(jù)中將對自己有用的信息準確高效地提?。棵鎸@些日益嚴峻的挑戰(zhàn)和經(jīng)濟突飛猛進地發(fā)展，各類政府機構也對業(yè)務信息化有了越來越高的需求，專項網(wǎng)絡信息平臺的建立已經(jīng)成為當務之急。從最初的政務信息化到今天，政府機構已經(jīng)積累了大量的結構化數(shù)據(jù)和非結構化數(shù)據(jù)，對于審計廳來說，各種報表和法律法規(guī)文檔等全文數(shù)據(jù)更是數(shù)不勝數(shù)，這些數(shù)據(jù)都

2、需要記錄在案，當進行審計業(yè)務和審計法律法規(guī)重新修訂等工作時，工作人員不得不大量翻閱這些歷史文件。這種情況下僅僅利用原有的數(shù)據(jù)庫查詢功能，或者人工查閱實體文本資料將會嚴重影響工作效率，由此我們想到可以利用全文檢索技術來滿足政府機構的以上需求。通過對審計廳資料庫內(nèi)的各種數(shù)據(jù)進行全文索引，工作人員在需要某項信息時，可以檢索到各種類型的數(shù)據(jù)。由于審計工作都是分季度進行的，所以在某個時段工作人員需要集中進行操作。綜合以上分析，我們決定構建一個分布

3、式的全文檢索系統(tǒng)來滿足審計廳的需求。本文利用基于Solr和ZooKeeper的分布式搜索方案，搭建Solr服務器集群，構成SolrCloud平臺，在SolrCloud上創(chuàng)建、存儲和管理大型資料庫文檔和數(shù)據(jù)庫信息的索引，以此為基礎，構建一個分布式的全文檢索系統(tǒng)。用戶可登陸系統(tǒng)，普通用戶可以對企業(yè)內(nèi)部大量文檔進行檢索、預覽和下載等操作，除此之外，管理員還能上傳、存儲和管理這些文檔，從而達到機構內(nèi)部資料共享的目的。
　　文中首先探討了全

4、文檢索和分布式搜索引擎的發(fā)展背景和研究現(xiàn)狀，詳細介紹了SolrCloud的架構和特點，以及全文檢索的機理。接下來我們根據(jù)審計廳的具體要求，對分布式全文檢索系統(tǒng)在四個層面上進行了需求分析，并對系統(tǒng)進行了開發(fā)環(huán)境設計，總體設計和詳細設計，詳細設計中給出了SolrCloud服務器集群、分布式索引、分布式檢索的設計方案，隨后介紹了以上設計方案的具體實現(xiàn)方法，并對索引的創(chuàng)建和檢索響應進行了性能測試。文章最后對本文所做的全部工作進行了簡單的總結，并