應用自然語言處理技術實現(xiàn)智能全文信息檢索的研究與實現(xiàn).pdf

1、全論文檢索就是以文本數(shù)據(jù)為主要處理對象,提供根據(jù)數(shù)據(jù)資料的內(nèi)容而不是外在特征來實現(xiàn)的信息檢索手段."文海撈針"是對全論文檢索的形象描述.全論文檢索是信息檢索發(fā)展的最前沿和目前的最高階段.這是一個具有重要理論價值和巨大使用價值的研究領域.自然語言處理技術是人工智能的一個重要分支,它包括漢語自動分詞,詞性自動標注,語義自動標住,句法分析及篇章理解.它們是實現(xiàn)語音處理、機器翻譯、智能全文信息檢索等的基礎工程.該論文首先分析總結了基于串匹配的全

2、文信息檢索技術,并且比較了各種算法的優(yōu)缺點.論文還討論了實現(xiàn)智能全文信息檢索的漢語自動分詞問題,并給出了實現(xiàn)自動分詞的最長匹配法、全切分算法、帶修剪的全切分算法.分詞詞典是漢語自動分詞系統(tǒng)的一個基本組成部分.其查詢速度直接影響到分詞系統(tǒng)的處理速度.論文設計并通過實驗考察了四種典型的分詞詞典機制:雙向索引,整詞二分,TRIE索引樹及逐字二分,注重比較了它們的時間、空間效率.實現(xiàn)顯示:基于逐字二分的分詞詞典機制簡潔、高效,較為實用.復雜的漢