基于Lucene的大數(shù)據(jù)量全文搜索引擎的研究與實現(xiàn).pdf

1、大數(shù)據(jù)時代，搜索引擎已經(jīng)成為人們獲取信息和進行信息化管理的重要工具，Lucene作為當前最為流行的開源搜索工具之一，已經(jīng)應用到很多領域。但是隨著數(shù)據(jù)量的增長Lucene會遇到很多問題，大數(shù)據(jù)量索引產(chǎn)生的大索引文件會在索引創(chuàng)建、索引優(yōu)化合并以及搜索等操作時暴露出很多問題，而且大索引也影響著搜索的實時性。這些隨著數(shù)據(jù)量增大而帶來的一系列問題一直以來都困擾著開發(fā)人員，對于Lucene也只是一個搜索引擎工具包，在實際應用中特別是大數(shù)據(jù)量情況下的

2、應用中需要我們做的還有很多很多。本文就是圍繞這些問題而展開，并提出了一套有效解決以上問題的方案。通過不斷的學習和實踐，我們總結(jié)了影響大數(shù)據(jù)量索引和搜索性能主要的原因是大索引文件以及索引碎片的共同存在，造成增量索引、索引合并以及搜索加載成本太高和對大量數(shù)據(jù)進行索引和合并時遇到的磁盤IO瓶頸和內(nèi)存的過度消耗。
　　針對以上問題，我們主要從三個方面入手以解決大數(shù)據(jù)量下索引和搜索的問題：第一，針對單索引情況采用緩存技術，內(nèi)存索引目錄以及復

3、用IndexWriter和IndexSearch對象等方法減少磁盤IO并提高搜索加載速度；第二，我們提出了一種多文件存儲的主索引局部優(yōu)化合并的策略來解決因大索引文件和索引碎片共存而帶來的索引增量和合并成本過高問題；第三，將索引增量與索引更新分開處理，分索引文件存儲進行內(nèi)部優(yōu)化，以減少主索引合并優(yōu)化頻率，并為實時性搜索提供支持。
　　考慮到實際應用中的實時性要求和傳統(tǒng)實時性搜索解決方案在大數(shù)據(jù)量情況下存在的問題，我們提出了一種新的實