基于位置語言模型的中文信息檢索方法研究.pdf

1、伴隨著全球信息化進程的迅猛發(fā)展，網(wǎng)絡上的中文信息資源變得越來越豐富，如何從這些海量數(shù)據(jù)中挖掘出有價值的中文信息，已逐漸成為信息檢索領域的研究熱點，信息檢索技術的提高也隨之變得重要起來。
　　在現(xiàn)有的檢索模型中，文檔的得分主要都是基于詞項在文檔內的頻率，逆文檔頻率以及文檔長度而得到的，并沒有充分考慮匹配到的查詢詞項在文檔中所處位置的近鄰性信息。雖然這些檢索模型也有被應用到中文信息檢索中并取得了不錯的成績，但其檢索效果仍有提升的空間。

2、因此，本文就基于位置語言模型的中文信息檢索方法進行了研究。主要工作包括以下兩個方面:
　　第一，將位置語言模型引入到中文信息檢索中進行建模，利用文檔中詞與詞之間出現(xiàn)位置的近鄰性關系，將查詢詞項在文檔中出現(xiàn)的位置信息聚集在一起，以便獲得與查詢主題更為相關的檢索文檔。我們將中文文本信息采用基于詞表和基于二元兩種分詞方法進行切分，切分后的文檔詞與詞之間用空格區(qū)分，在建模時文檔中的位置信息以詞為單位進行標識，這樣不僅考慮了詞與詞之間的位置

3、近鄰性，而且在一定程度上考慮了詞間的復合關系，有助于提高檢索的準確率。我們在NTCIR-5和NTCIR-6中文文檔測試集上均進行了實驗，實驗結果表明，基于位置語言模型的中文信息檢索建模方法相對于傳統(tǒng)的檢索方法來說擁有更好的檢索性能。
　　第二，在偽相關反饋方法中加入文檔的位置特征，幫助原始查詢獲取更合適的擴展詞項。該方法將反饋文檔中的詞項位置信息添加到相關性模型中，充分考慮了查詢詞項在反饋文檔中出現(xiàn)的位置，利用位置語言模型將反饋文