OpenBASE中文全文檢索設(shè)計(jì)與實(shí)現(xiàn).pdf

1、全文檢索 (Full-Text Retrieval) 是基于內(nèi)容而不僅是外在特征的檢索方式，是信息檢索的發(fā)展。在全文檢索的研究上，取得了不小的進(jìn)展，有很多成型的理論和工具。關(guān)系型數(shù)據(jù)庫對于類似文本這類非結(jié)構(gòu)化的數(shù)據(jù)處理起來沒有優(yōu)勢，因此有必要把全文檢索技術(shù)與數(shù)據(jù)庫結(jié)合起來，增強(qiáng)數(shù)據(jù)庫對文本的處理能力。 國家信息產(chǎn)業(yè)部的電子信息產(chǎn)業(yè)基金招標(biāo)項(xiàng)目是本文的一個(gè)重要課題背景。數(shù)據(jù)庫的全文檢索要解決體系結(jié)構(gòu)、分詞、索引、存儲(chǔ)以及展現(xiàn)等問

2、題，并且對性能要求比較嚴(yán)格。 本文先介紹和分析了全文檢索的關(guān)鍵技術(shù)，結(jié)合 OpenBASE 設(shè)計(jì)了一個(gè)全文檢索架構(gòu)，增加了文本轉(zhuǎn)換、分類器和向量構(gòu)造器?；谠~典的分詞方法具有快速、易于實(shí)現(xiàn)的特點(diǎn)，本文采用的正是基于詞典的并且根據(jù)編碼特性設(shè)計(jì)的一種新的分詞算法，同時(shí)結(jié)合了基于規(guī)則的消歧、未登錄詞識(shí)別算法，提高分詞的準(zhǔn)確率。在 OpenBASE 數(shù)據(jù)庫中增加了對全文檢索操作的語句，并實(shí)現(xiàn)了全文索引的重建和增量更新兩種索引更新方式。