基于用戶收益的歸并比較評測方法研究.pdf

1、歸并比較評測方法是一種有效的比較兩個搜索引擎結(jié)果質(zhì)量優(yōu)劣的評測方法。本文對在這類方法中考慮用戶收益的方式進(jìn)行了深入的研究,主要貢獻(xiàn)包括以下三個方面:
　　1)本文提出了基于點(diǎn)擊收益的歸并比較評測方法。這類方法通過定義文檔收益,將文檔的排序位置引入打分函數(shù)中,從而改善了已有方法對位置信息利用不夠充分的問題,提高了比較結(jié)果的準(zhǔn)確率和效率。在提出的新方法中,Softmax形式的基于點(diǎn)擊收益的平衡歸并法能夠很好地替代已有方法中的最優(yōu)方法,

2、減少計算代價而不損失準(zhǔn)確率和效率。
　　2)本文提出了基于收益比的歸并比較評測方法。這類方法利用理想收益來衡量列表在歸并函數(shù)中的貢獻(xiàn),使用收益比的打分函數(shù),通過歸一化列表的點(diǎn)擊收益,消除了兩個列表貢獻(xiàn)不同造成的偏向問題。實(shí)驗(yàn)證明,使用收益比的打分函數(shù)有效地提高了概率歸并法的準(zhǔn)確率和收斂效率,并放寬了歸并比較評測方法中比較函數(shù)對歸并函數(shù)的限制,使得歸并函數(shù)可以更加靈活。
　　3)本文提出了序列化歸并法。這種方法的歸并函數(shù)利用文