面向現(xiàn)代漢語文本處理的全文檢索、自動分詞通用系統(tǒng).pdf

1、全文檢索是現(xiàn)代信息檢索技術的一個非常重要的分支，它是處理非結(jié)構化數(shù)據(jù)的強大工具，也是搜索引擎的核心技術之一。本研究對中文全文檢索的有關技術進行了較為深入的研究，重點放在全文檢索技術的應用上。對如何利用新技術、改善檢索系統(tǒng)的結(jié)構、提高檢索系統(tǒng)的性能和效率、不斷適應信息技術發(fā)展的需求等方面進行了新的探索。 全文檢索是一種I／O密集型的應用，以往的全文檢索系統(tǒng)的開發(fā)多在關系數(shù)據(jù)庫的基礎上進行。本研究針對全文數(shù)據(jù)庫的特點，指出此方式的弊

2、端與不足，并提出了基于文件系統(tǒng)進行構建的解決方案。由于目前全文檢索系統(tǒng)的開發(fā)平臺并不多見，本文介紹了一種全文檢索引擎工具包——Lucene，它功能強大，小巧精悍，便于嵌入各種應用。近年在世界各地被廣泛使用，諸如IBM等公司都使用其核心代碼。作為一個開源軟件，為我們掌握搜索引擎的核心技術提供了絕佳機會，根據(jù)現(xiàn)代漢語文本的特點對進行二次開發(fā)，是一件很有意義的事情。 漢語自動分詞及詞性標注是中文信息處理中的重要環(huán)節(jié)。針對現(xiàn)代漢語自動分

3、詞及詞性標注的難點，本研究在自動分詞方面進行了如下探索：1．對幾種常用電子詞典的結(jié)構進行了分析和比較，實現(xiàn)了核心詞典+專業(yè)詞典的雙訶典策略，提高了系統(tǒng)的靈活性和適應性。2．采用根據(jù)分詞有向無環(huán)圖確定歧義字段的策略，一次性找出所有交集型和組合型歧義字段。3．采用基于角色標注的方法，識別未登錄詞中的中國人名、地名和外國人譯名。4．采用規(guī)則的方法，對數(shù)字詞及重疊詞進行了分析和處理。5．利用基于隱馬模型的漢語自動分詞及標注一體化系統(tǒng)，實現(xiàn)了切分