基于統(tǒng)計語言學模型的中文文本信息檢索.pdf

1、該文從文本檢索模型的基本原理入手,分析了幾種傳統(tǒng)IR模型的優(yōu)缺點,給出基于統(tǒng)計語言模型的IR模型的基本原理、關鍵技術以及它的優(yōu)勢所在.并在標準的TREC中文實驗數(shù)據(jù)集上,回答了下面兩個問題:(1)中文統(tǒng)計語言模型-IR模型的性能如何?也就是說,中文統(tǒng)計語言模型和IR相結合有沒有前途?(2)特征選擇對中文統(tǒng)計語言模型-IR模型的影響如何?哪種特征選擇方法好?對于問題(1),用SLM-IR模型和兩種傳統(tǒng)的IR模型:向量空間模型和概率模型進行

2、比較,以標準的TREC評價手段,給出上述3種模型的性能.實驗結果表明:簡單的SLM-CIR模型的性能要優(yōu)于簡單的向量空間模型和概率模型.對于問題(2),選擇了幾種典型的特征選擇方法,即單漢字、分詞、bigram,比較它們的性能.同時,考慮到分詞的特殊性,我們又選擇了幾種不同的分詞方法,給出了基于不同分詞方法的分詞切分SLM-IR模型的性能.實驗結果表明:①對于單漢字切分,簡單的SLM-CIR模型的性能要優(yōu)于簡單的向量空間模型和概率模型;

3、對于分詞切分和Bigram切分,簡單的SLM-CIR模型的性能要優(yōu)于向量空間模型,雖然略低于OKAPI概率模型,但是反饋后的SLM-CIR模型的性能要明顯優(yōu)于反饋前和反饋后的OKAPI概率模型.②對于簡單的SLM-CIR模型,分詞切分的性能不如Bigram切分和單漢字切分,而且不同的分詞方法對檢索性能的影響不明顯.這就說明了在SLM-CIR模型中,分詞技術不是影響模型性能的關鍵因素.③驗證了英文數(shù)據(jù)集上的實驗結論,即無論采用哪一種切分方