基于聚集系數(shù)的文本檢索查詢(xún)性能預(yù)測(cè).pdf

1、隨著信息技術(shù)的發(fā)展，信息資源呈爆炸性增長(zhǎng)，人們迫切需要從海量的文檔集中搜索自己感興趣的信息，信息檢索技術(shù)應(yīng)運(yùn)而生并發(fā)揮著越來(lái)越重要的作用。然而，目前的信息檢索系統(tǒng)都存在嚴(yán)重的魯棒性問(wèn)題，查詢(xún)性能預(yù)測(cè)作為最可能解決該問(wèn)題的技術(shù)，受到信息檢索界的廣泛關(guān)注。 研究人員針對(duì)查詢(xún)性能預(yù)測(cè)做了大量工作，提出了Clarity Score、Robustness Score等經(jīng)典算法，然而，基于檢索前的方法預(yù)測(cè)準(zhǔn)確性較差；基于檢索后的方法，雖然預(yù)

2、測(cè)準(zhǔn)確性較高，但是都要分析所有相關(guān)文檔的幾何學(xué)特性，計(jì)算復(fù)雜度高。 本文中，我們分析了信息檢索的影響因素，發(fā)現(xiàn)查詢(xún)、文檔集的質(zhì)量、檢索模型及模型中的參數(shù)都對(duì)信息檢索性能有重大影響，而檢索系統(tǒng)沒(méi)有識(shí)別所有查詢(xún)?cè)~項(xiàng)更是導(dǎo)致檢索失敗的根源。 基于“檢索系統(tǒng)沒(méi)有識(shí)別所有查詢(xún)?cè)~項(xiàng)是導(dǎo)致檢索失敗的根源”和“聚團(tuán)性假設(shè)”兩大理論，借鑒向量空間模型中的思想，我們提出了基于聚集系數(shù)的文本檢索查詢(xún)性能預(yù)測(cè)模型，該模型利用聚集系數(shù)來(lái)衡量檢索系

3、統(tǒng)對(duì)所有查詢(xún)?cè)~項(xiàng)的識(shí)別度和返回的相關(guān)文檔間的相似度，實(shí)驗(yàn)證明，聚集系數(shù)與查詢(xún)的難易度有著顯著的一致性聯(lián)系，與Clarity Score、Robustness Score模型相比，聚集系數(shù)模型能夠較為準(zhǔn)確地對(duì)查詢(xún)性能進(jìn)行預(yù)測(cè)。 相對(duì)于以往的模型，聚集系數(shù)模型有許多創(chuàng)新： (1)首次將“檢索系統(tǒng)沒(méi)有識(shí)別所有查詢(xún)?cè)~項(xiàng)是導(dǎo)致檢索失敗的根源”和“聚團(tuán)性假設(shè)”兩大理論同時(shí)應(yīng)用到查詢(xún)性能預(yù)測(cè)模型中，利用聚集系數(shù)同時(shí)衡量檢索系統(tǒng)對(duì)所有查

4、詢(xún)?cè)~項(xiàng)的識(shí)別度和返回文檔的相似度，可以獲得更好的預(yù)測(cè)性能； (2)首次利用返回文檔關(guān)于查詢(xún)的相似度來(lái)代替直接計(jì)算返回文檔間的相似度，在保持較高預(yù)測(cè)準(zhǔn)確性的同時(shí)提高了計(jì)算效率； (3)首次將“利用WordNet中詞項(xiàng)的距離來(lái)計(jì)算它們的相似度”的方法應(yīng)用到查詢(xún)性能預(yù)測(cè)中，并利用它來(lái)計(jì)算頻繁詞項(xiàng)與查詢(xún)?cè)~項(xiàng)的相似度，取消了“頻繁詞項(xiàng)之間、頻繁詞項(xiàng)與查詢(xún)?cè)~項(xiàng)之間均相互獨(dú)立”的假設(shè)，更加符合實(shí)際應(yīng)用情形。 此外，聚集系數(shù)模型