基于統(tǒng)計語言建模的信息檢索及相關(guān)研究.pdf

1、本文對基于統(tǒng)計語言建模(SLM，Statistical Language Modeling)的信息檢索方法進(jìn)行了較為詳細(xì)的論述，著重闡述了查詢似然檢索模型的基本思想和原理，并介紹了一些改進(jìn)的模型，如KL距離檢索模型等。在這一基礎(chǔ)上，針對SLM檢索方法中文檔建模和查詢建模這兩個關(guān)鍵問題，本文就文檔語言模型的平滑估計、啟發(fā)式查詢擴展及其在查詢似然檢索模型中的整合以及查詢語言模型的估計和聯(lián)想式擴展等幾個方面作了較為深入的研究。 針對查

2、詢似然檢索模型中文檔一元語言模型的平滑估計問題，本文詳細(xì)地分析了幾種常用的平滑方法對檢索性能的影響模式和平滑參數(shù)的最優(yōu)取值規(guī)律，探討了平滑在查詢似然檢索模型中所扮演的功能角色，提出了一種改進(jìn)的線性插值平滑方法GJM一2，利用文檔中不同詞項的個數(shù)這一統(tǒng)計信息來改善平滑的效果。考慮到傳統(tǒng)的平滑方法在進(jìn)行平滑處理時對不同詞項的差異性有所忽視，本文還提出了基于詞項風(fēng)險的平滑模型，將詞項風(fēng)險引入傳統(tǒng)的平滑方法。實驗結(jié)果表明，與傳統(tǒng)的平滑方法相比，

3、GJM一2平滑方法和基于詞項風(fēng)險的平滑模型均能有效地提高檢索性能。 在信息檢索中，啟發(fā)式查詢擴展是改善檢索性能的重要技術(shù)手段。我們研究了在查詢似然檢索模型中如何進(jìn)行啟發(fā)式查詢擴展的問題。針對查詢似然檢索模型在實現(xiàn)查詢擴展上存在的先天不足，我們通過引入查詢詞的權(quán)重信息對查詢似然檢索模型進(jìn)行了改進(jìn)，提出了WQL檢索模型，從而可以將傳統(tǒng)的各種啟發(fā)式查詢擴展方法很自然地整合進(jìn)來，實驗結(jié)果驗證了整合的有效性。此外，通過對傳統(tǒng)擴展方法的分析

4、，本文還提出了一種基于局部共現(xiàn)的查詢擴展方法LOCOOC，利用候選詞與初始查詢在局部文檔集合中的共現(xiàn)程度來評估候選詞的質(zhì)量，并整合了候選詞在文檔集中的全局統(tǒng)計信息，使得選取的擴展詞與初始查詢所表征的主題或概念具有更好的相關(guān)性。實驗結(jié)果表明：基于WQL檢索模型，采用LOCOOC擴展方法可以使檢索性能(平均準(zhǔn)確率)提高40％以上；與傳統(tǒng)的幾種典型的擴展方法相比，該擴展方法具有更為優(yōu)越的擴展性能。 啟發(fā)式的查詢擴展方法采用的是啟發(fā)式的

5、擴展詞選取策略和權(quán)重修正策略，缺乏嚴(yán)格的數(shù)學(xué)推導(dǎo)和理論依據(jù)。本文研究了KL距離檢索模型架構(gòu)內(nèi)如何利用統(tǒng)計語言模型實現(xiàn)查詢擴展的問題，從查詢語言模型反推的角度探討了查詢擴展的實現(xiàn)途徑，為查詢擴展的理論研究提供了一條可行的思路?？紤]到詞項之間具有一定的主題內(nèi)部依賴關(guān)系，本文提出了基于詞項聯(lián)想式擴展的反推策略，將詞項之間的統(tǒng)計依賴關(guān)系整合到查詢語言模型的反推過程中。在這種反推策略中，我們提出了“詞項聯(lián)想網(wǎng)絡(luò)”(WAN，WordAssociat