基于Lucene的中文分詞技術(shù)研究與實(shí)現(xiàn).pdf

1、信息技術(shù)的快速發(fā)展推動(dòng)了互聯(lián)網(wǎng)的信息的不斷豐富和搜索引擎技術(shù)的加速發(fā)展，作為信息檢索之一的中文分詞技術(shù)顯得尤為重要，中文分詞技術(shù)促進(jìn)了全文檢索技術(shù)的發(fā)展。Lucene便是隨著這一過(guò)程而產(chǎn)生發(fā)展的。Lucene是由apache公司開(kāi)發(fā)的一個(gè)開(kāi)源工具包，其目的是為了實(shí)現(xiàn)全文檢索。但在具體的實(shí)現(xiàn)上，它仍有很多改進(jìn)的地方，尤其是在對(duì)中文信息的處理上。所以本文的研究重點(diǎn)是Lucene的中文分詞技術(shù)。
　　在對(duì)Lucene進(jìn)行深入研究后，本文

2、提出Lucene的字符串匹配的改進(jìn)算法——正向最大增字匹配算法，該算法分詞結(jié)果更加準(zhǔn)確，在此基礎(chǔ)上，下文構(gòu)造一種Lucene的分析器MyChAnalzyer，該分析器的核心模塊是基于詞前綴的哈希逐字匹配算法的中文分詞器，通過(guò)多種方法測(cè)試該分析器的分詞性能，主要考察分詞速度和分詞精度兩個(gè)方面，其中，分詞精度方面又通過(guò)兩種測(cè)試方案來(lái)測(cè)試。從實(shí)驗(yàn)的結(jié)果來(lái)看準(zhǔn)確率比lucene自帶的分析器有較大的提高。本文最后一章提出改進(jìn)的排序結(jié)果算法，該算法