定題信息檢索關(guān)鍵技術(shù)研究.pdf

1、隨著Web信息多元化趨勢的增強(qiáng)，給所有用戶提供同一個通用搜索引擎入口已經(jīng)不能滿足特定用戶更加深入的查詢需求。在這一情況下，面向特定主題領(lǐng)域的定題搜索引擎應(yīng)運而生。定題信息檢索為定題搜索引擎提供了有力的技術(shù)支撐。本文將對確定主題領(lǐng)域信息的獲取、過濾以及檢索三個重要內(nèi)容加以分析和相應(yīng)的方法改進(jìn)，為定題信息檢索構(gòu)建一個通用的有效的開發(fā)框架。 在主題信息的獲取方面，定題搜索引擎通常采用定題爬蟲抓取網(wǎng)頁信息，而基于元搜索引擎采集主題相關(guān)信

2、息在檢索的召回率和時效性上都具有明顯的優(yōu)勢，但由于元搜索引擎的各個成員引擎通常都是通用搜索引擎，因此難以反饋與目標(biāo)主題相關(guān)的頁面文檔。為此，本文設(shè)計了一個基于統(tǒng)計翻譯模型的查詢擴(kuò)展方法，通過為用戶的初始查詢增加目標(biāo)主題信息的手段，提高定題信息Web檢索的準(zhǔn)確率。 主題信息過濾在很大程度上以文本分類技術(shù)為基礎(chǔ)，本文提出了一個改進(jìn)的文本特征提取方法，并將其應(yīng)用于貝葉斯分類中，實驗獲得了更好的文本分類效果。 基于語言模型的定題

3、信息檢索是本文的重點，本文將一系列既有的改進(jìn)方向融合到兩個檢索擴(kuò)展框架中，并針對兩個擴(kuò)展框架分別提出了改進(jìn)措施：首先提出將HMM檢索過程與貝葉斯平滑相結(jié)合的手段，進(jìn)而設(shè)計了一個基于貝葉斯推理網(wǎng)絡(luò)的詞關(guān)聯(lián)度計算方法，并將其用于引入詞關(guān)聯(lián)信息的檢索擴(kuò)展框架中。實驗證明了兩個改進(jìn)的擴(kuò)展框架均使文檔集評測結(jié)果在原有方法的基礎(chǔ)上獲得了進(jìn)一步的提升。而基于貝葉斯推理網(wǎng)絡(luò)的詞關(guān)聯(lián)度計算方法比已有的基于翻譯模型的詞關(guān)聯(lián)度計算方法更加適用于定題信息檢索。