基于GB18030的多語種全文檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息社會的不斷發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用的不斷深入，互聯(lián)網(wǎng)已經(jīng)成為人類獲取信息的最重要途徑之一。在信息爆炸時代，人們面對的煩惱不再是信息資源的貧乏而是資源過剩甚至于泛濫。 如何在信息海洋中找到準(zhǔn)確有用的信息已不是一個新的課題。 全文檢索技術(shù)因此應(yīng)運(yùn)而生。全文檢索技術(shù)是將海量的非結(jié)構(gòu)化數(shù)據(jù)通過建立索引，檢索的方式來迅速搜索定位要查找的信息。 信息的內(nèi)涵比較大，這里特指計(jì)算機(jī)中的文本信息。即文字語言表達(dá)的信息。當(dāng)提及到

2、多語種或者多文種文字信息時，人們不禁會想到實(shí)現(xiàn)世界上所有文字的統(tǒng)一編碼Unicode。然而，自2000年我國強(qiáng)制性標(biāo)準(zhǔn)GB18030推行之后，理論上要實(shí)現(xiàn)多語種非Unicode不能用的論斷就此推翻。 本文對多語種全文檢索中所涉及的關(guān)鍵技術(shù)包括字符編碼、漢語分詞、索引架構(gòu)、檢索算法等進(jìn)行了探討和研究。為了能夠支持我國獨(dú)立研制的編碼字符集標(biāo)準(zhǔn)，實(shí)現(xiàn)在該領(lǐng)域計(jì)算機(jī)處理的自主權(quán)，本文提出了利用GB18030為編碼基礎(chǔ)來設(shè)計(jì)與實(shí)現(xiàn)全文檢索

3、系統(tǒng)。使得多語種信息處理不再依賴于Unicode，支持我國自主知識產(chǎn)權(quán)，也使得我國中文信息處理技術(shù)更上一個臺階。 本文主要分以下幾部分內(nèi)容： 一.常用字符編碼的概述和GB18030特點(diǎn)的分析 二.多語種分詞技術(shù)的概述和實(shí)現(xiàn) 三.以倒排索引為基礎(chǔ)的Clucene架構(gòu)的分析和內(nèi)部代碼剖析 四.如何利用Clucene架構(gòu)來擴(kuò)展實(shí)現(xiàn)基于GB18030的全文檢索組件技術(shù)。 五.對基于GB18030的