基于語言模型的文本檢索技術及檢索結果重排序的研究.pdf

1、圖書分類號：TP391U.D.C.:681.3工學碩士學位論文基于語言模型的文本檢索技術及檢索結果重排序的研究碩士研究生：胡曉光導師：唐好選副教授申請學位：工學碩士學科、專業(yè)：計算機科學與技術所在單位：計算機科學與技術學院答辯日期：2006年6月授予學位單位：哈爾濱工業(yè)大學哈爾濱工業(yè)大學工學碩士學位論文I摘要摘要信息檢索(InfmationRetrievalIR)是研究信息的結構、分析方法、組織、存儲、搜索和檢索等方面的計算機科學。對檢

2、索模型的研究在信息檢索領域處于核心地位。不同的檢索模型將給出不同的相似度計算，從而影響最終的返回結果。因此，對檢索模型的研究和改進對于信息檢索有著十分重要的意義。2005年863信息檢索評測是本文的一個重要課題背景。本文首先介紹了在2005年863評測中構造的信息檢索系統(tǒng)使用的各種文本處理技術，如超文本正文提取、分詞、全文索引、查詢自動生成等等。這些技術是多檢索模型融合研究的基礎。向量空間模型VSM是得到廣泛應用的經(jīng)典檢索模型之一?？墒?/p>

3、VSM本身排序策略是經(jīng)驗性強的公式，而且沒有深入到語言層面。為了利用語言知識進行檢索，近年來基于統(tǒng)計語言模型(SLMbased)的信息檢索得到了快速發(fā)展。本文研究重點之一是研究SLMbased語言模型中Ponte、GLM模型在中文檢索測試集上的表現(xiàn)，并與經(jīng)典的VSM對比。在基于詞義語言模型的信息檢索研究中，介紹了同義詞詞典的詞義表示方法，在實驗中使用TREC語料把基于詞義的語言模型并與其他語言模型進行了比較，實驗表明，基于詞義的語言模型