信息檢索系統(tǒng)的評(píng)價(jià)方法-北京大學(xué)網(wǎng)絡(luò)與信息系統(tǒng)研究所

1、基于用戶群體行為分析的搜索引擎自動(dòng)性能評(píng)價(jià),清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室馬少平2008年4月12日，南昌,提綱,研究背景信息檢索系統(tǒng)的評(píng)價(jià)方法基于用戶行為分析的搜索引擎性能評(píng)價(jià)演示系統(tǒng)：搜索儀結(jié)論與未來(lái)工作,研究背景,Web的發(fā)展帶來(lái)了什么？信息量的急劇增長(zhǎng)1994年，面向個(gè)人用戶的瀏覽服務(wù)誕生2002年，Web上所存儲(chǔ)的數(shù)據(jù)超過(guò)500,000 TB知識(shí)的獲取空前簡(jiǎn)單與繁榮“在信息化時(shí)代，知識(shí)實(shí)際上已經(jīng)不

2、是資源，智慧才是資源?！睆腤eb中有效的獲取知識(shí)成為人們的必需技能高科技企業(yè)員工1/3的時(shí)間用于查找資料,研究背景,網(wǎng)絡(luò)信息檢索工具成為人們生活和工作中的重要信息獲取手段全球范圍內(nèi)84%的互聯(lián)網(wǎng)用戶使用搜索引擎，其中超過(guò)一半的人幾乎每天使用。 2007年1月，我國(guó)網(wǎng)民總?cè)藬?shù)為13700萬(wàn)人。95%以上的中國(guó)網(wǎng)民使用過(guò)搜索引擎，84.5%的用戶將搜索引擎作為得知新網(wǎng)站的主要途徑。商用搜索引擎競(jìng)爭(zhēng)日趨激烈。,研究背景,性能評(píng)價(jià)對(duì)

3、搜索引擎的重要作用對(duì)搜索引擎用戶而言：挑選最有利于獲取信息的手段對(duì)搜索引擎工程師而言：算法及數(shù)據(jù)處理方式有效性的判斷對(duì)搜索引擎廣告商而言：挑選最有效的廣告投放手段,研究背景,搜索引擎評(píng)價(jià)的考察方式搜索引擎作為網(wǎng)絡(luò)服務(wù)供應(yīng)商的屬性形式：用戶問(wèn)卷調(diào)查舉例：CNNIC中國(guó)搜索引擎市場(chǎng)調(diào)查報(bào)告搜索引擎作為網(wǎng)絡(luò)信息檢索工具的屬性形式：傳統(tǒng)的信息檢索評(píng)價(jià)方法在網(wǎng)絡(luò)環(huán)境中的應(yīng)用。舉例：TREC VLC/Web/Terabyte

4、 track，SEWM評(píng)測(cè)等,,作為信息檢索研究人員，我們的考察重點(diǎn),提綱,研究背景信息檢索系統(tǒng)的評(píng)價(jià)方法基于用戶行為分析的搜索引擎性能評(píng)價(jià)演示系統(tǒng)：搜索儀結(jié)論與未來(lái)工作,信息檢索系統(tǒng)的評(píng)價(jià)方法,評(píng)價(jià)在信息檢索研究中發(fā)揮著重要的作用評(píng)價(jià)在信息檢索系統(tǒng)的研發(fā)中一直處于核心的地位，以致于算法與其效果評(píng)價(jià)方式是合二為一的（Saracevic, SIGIR 1995）信息檢索系統(tǒng)評(píng)價(jià)的起源Kent等人第一次提出了關(guān)于Precisi

5、on和Recall（開(kāi)始稱(chēng)為relevance）的概念（Kent, 1955）,信息檢索系統(tǒng)的評(píng)價(jià)方法,信息檢索系統(tǒng)評(píng)價(jià)的起源（續(xù)）Cranfield-like evaluation methodologyCranfield在上世紀(jì)伍十年代末到六十年代初提出了基于查詢樣例集、標(biāo)準(zhǔn)答案集和語(yǔ)料庫(kù)的評(píng)測(cè)方案，被稱(chēng)為IR評(píng)價(jià)的“grand-daddy”確立了評(píng)價(jià)在信息檢索研究中的核心地位Gerard Salton 與 SMART 系統(tǒng)

6、Sparck-Jones 的著作 “Information retrieval experiment”在線：http://www.itl.nist.gov/iaui/894.02/projects/irlib/,信息檢索系統(tǒng)的評(píng)價(jià)方法,網(wǎng)絡(luò)信息檢索系統(tǒng)效果評(píng)價(jià)的現(xiàn)狀數(shù)據(jù)對(duì)象繁雜，標(biāo)注困難Voorhees 估計(jì)，對(duì)一個(gè)規(guī)模為800萬(wàn)的文檔集合進(jìn)行針對(duì)1個(gè)查詢主題的相關(guān)性評(píng)判需要耗費(fèi)1名標(biāo)注人員9個(gè)月的工作時(shí)間TREC提出pool

7、ing方法，在保證評(píng)價(jià)結(jié)果可靠性的基礎(chǔ)上大大減少了評(píng)判工作量缺點(diǎn)：處理的查詢數(shù)目少，針對(duì)小規(guī)模的查詢集合，仍需要耗費(fèi)十余名標(biāo)注人員1-2個(gè)月的工作時(shí)間提高搜索引擎評(píng)價(jià)方法的自動(dòng)化程度勢(shì)在必行,信息檢索系統(tǒng)的評(píng)價(jià)方法,如何提高搜索引擎評(píng)價(jià)的自動(dòng)化程度？,查詢樣例選取,標(biāo)準(zhǔn)答案標(biāo)注,查詢樣例集合,標(biāo)準(zhǔn)答案集合,檢索系統(tǒng)查詢結(jié)果,,,信息檢索系統(tǒng)的評(píng)價(jià)方法,核心問(wèn)題: 如何提高答案標(biāo)注的自動(dòng)化程度利用偽相關(guān)反饋的方法進(jìn)行結(jié)果自動(dòng)標(biāo)

8、注偽相關(guān)反饋的結(jié)果被認(rèn)為是答案Soboroff et.al, 2001; Nuray et.al, 2003; Beitzel et.al., 2003標(biāo)注的準(zhǔn)確程度和可靠性不高對(duì)查詢?cè)~的近義詞集合進(jìn)行標(biāo)注根據(jù)結(jié)果網(wǎng)頁(yè)的查詢?cè)~及近義詞詞頻進(jìn)行評(píng)判Amitay et.al, 2004初始標(biāo)注工作量大，評(píng)判的可靠性不高,信息檢索系統(tǒng)的評(píng)價(jià)方法,核心問(wèn)題: 如何提高答案標(biāo)注的自動(dòng)化程度利用用戶行為分析方法Joachims e

9、t.al.(1997) 創(chuàng)建了一個(gè)元搜索接口，將不同搜索引擎的結(jié)果加以混雜，把用戶點(diǎn)擊不同結(jié)果的情況加以記錄，并以此作為評(píng)判依據(jù)用戶行為分析的思路值得肯定缺點(diǎn)：改變用戶檢索習(xí)慣、個(gè)體用戶行為不可靠等我們的研究思路通過(guò)對(duì)搜索引擎記錄下的用戶行為日志進(jìn)行分析，不額外增加用戶負(fù)擔(dān)。使用用戶群體，而不是個(gè)體的點(diǎn)擊行為作為依據(jù),提綱,研究背景信息檢索系統(tǒng)的評(píng)價(jià)方法基于用戶行為分析的搜索引擎性能評(píng)價(jià)演示系統(tǒng)：搜索儀結(jié)論與未來(lái)工作,

10、基于用戶行為分析的性能評(píng)價(jià),總體思路基于Cranfield方式進(jìn)行評(píng)價(jià)豐富的研究經(jīng)驗(yàn)：評(píng)價(jià)指標(biāo)、查詢樣例選取策略等便于與傳統(tǒng)的手工標(biāo)注評(píng)價(jià)方式進(jìn)行比較基于用戶關(guān)注程度進(jìn)行查詢樣例選取基于用戶行為信息進(jìn)行答案自動(dòng)標(biāo)注個(gè)體用戶可能在點(diǎn)擊過(guò)程中出現(xiàn)謬誤用戶群體的點(diǎn)擊信息則是很大程度上可靠的統(tǒng)計(jì)用戶群體的點(diǎn)擊行為，進(jìn)而對(duì)查詢對(duì)應(yīng)的結(jié)果進(jìn)行標(biāo)注,搜索引擎效果自動(dòng)評(píng)價(jià),基于用戶關(guān)注程度進(jìn)行查詢樣例自動(dòng)挑選頻度高于100的查詢：35

11、177個(gè)(<查詢個(gè)數(shù)1%)覆蓋了近70%的用戶查詢需求 選取熱門(mén)關(guān)鍵詞(big fat head)作為代表性樣例,余慧佳等，基于大規(guī)模日志分析的搜索引擎用戶行為分析，中文信息學(xué)報(bào)，2007年第2期數(shù)據(jù)來(lái)源：Sogou搜索引擎2006年2月查詢?nèi)罩?搜索引擎效果自動(dòng)評(píng)價(jià),基于用戶行為信息進(jìn)行答案自動(dòng)標(biāo)注根據(jù)用戶信息需求不同有所差別導(dǎo)航類(lèi)信息需求對(duì)應(yīng)的答案標(biāo)注檢索目標(biāo)頁(yè)面單一H(URL|Query)較低，檢索系統(tǒng)的處理難

12、度較低，答案標(biāo)注難度較低信息事務(wù)類(lèi)信息需求對(duì)應(yīng)的答案標(biāo)注多個(gè)檢索目標(biāo)頁(yè)面H(URL|Query)較高，檢索系統(tǒng)的處理難度較高，答案標(biāo)注難度較高,搜索引擎效果自動(dòng)評(píng)價(jià),導(dǎo)航類(lèi)查詢的答案標(biāo)注結(jié)果唯一，不存在“找不全”的問(wèn)題搜索引擎檢索性能高，點(diǎn)擊準(zhǔn)確度較可靠能夠發(fā)現(xiàn)用戶的關(guān)注熱點(diǎn)，如“163” => mail.163.com“搜狗” => d.sogou.com答案標(biāo)注的難度較低,搜索引擎效果自動(dòng)評(píng)價(jià),信息

13、事務(wù)類(lèi)查詢的答案標(biāo)注以查詢?cè)~”電影”為例不同搜索引擎的點(diǎn)擊分布差異大存在著搜索引擎對(duì)用戶行為的偏置性影響索引數(shù)據(jù)偏置檢索策略偏置結(jié)果不唯一，全面性難以保證答案標(biāo)注難度較大需要借助多個(gè)搜索引擎的用戶行為信息進(jìn)行標(biāo)注,搜索引擎效果自動(dòng)評(píng)價(jià),自動(dòng)評(píng)價(jià)流程,搜索引擎效果自動(dòng)評(píng)價(jià),按信息需求將查詢樣例自動(dòng)分類(lèi),Yiqun Liu et al, Automatic Query Type Identification Based on

14、 Click Through Information Proceedings of the 3th Asia Information Retrieval Symposium, AIRS 2006,搜索引擎效果自動(dòng)評(píng)價(jià),針對(duì)導(dǎo)航類(lèi)查詢的結(jié)果自動(dòng)標(biāo)注利用單個(gè)搜索引擎的點(diǎn)擊信息即可完成焦點(diǎn)假設(shè)：不同用戶具有相同的導(dǎo)航類(lèi)別檢索需求時(shí)，他們的點(diǎn)擊都會(huì)集中在其檢索目標(biāo)網(wǎng)頁(yè)（或其鏡像）上。網(wǎng)頁(yè)r 針對(duì)查詢q的點(diǎn)擊集中度q的點(diǎn)擊集中度最高

15、的r即為其檢索目標(biāo)頁(yè)面,搜索引擎效果自動(dòng)評(píng)價(jià),針對(duì)導(dǎo)航類(lèi)查詢的結(jié)果自動(dòng)標(biāo)注標(biāo)注算法：尋找針對(duì)q的ClickFocus值最大的r標(biāo)注樣例,搜索引擎效果自動(dòng)評(píng)價(jià),針對(duì)信息事務(wù)類(lèi)查詢需求的答案自動(dòng)標(biāo)注基于多搜索引擎用戶行為挖掘1. 利用單搜索引擎用戶行為挖掘方式，進(jìn)行各自獨(dú)立的標(biāo)注2. 借鑒Pooling做法，綜合不同標(biāo)注者（這里為搜索引擎用戶的宏觀行為）的意見(jiàn),搜索引擎效果自動(dòng)評(píng)價(jià),基于多搜索引擎用戶行為挖掘的標(biāo)注算法需要考慮的

16、因素用戶點(diǎn)擊行為差異用戶訪問(wèn)量差異查詢分布差異搜索引擎相對(duì)重要性的差異綜合考慮以上因素，計(jì)算某個(gè)結(jié)果對(duì)于某個(gè)查詢的置信度,搜索引擎效果自動(dòng)評(píng)價(jià),合并計(jì)算結(jié)果url對(duì)于查詢q的置信度 基于單搜索引擎進(jìn)行答案標(biāo)注的可信度依據(jù)查詢用戶數(shù)來(lái)計(jì)算,搜索引擎效果自動(dòng)評(píng)價(jià),單獨(dú)某個(gè)搜索引擎標(biāo)注答案的可信程度依據(jù)此搜索引擎的用戶點(diǎn)擊的宏觀集中程度來(lái)確定,搜索引擎效果自動(dòng)評(píng)價(jià),查詢點(diǎn)擊分布合并模型其中， 反映不同搜

17、索引擎在結(jié)果標(biāo)注中的重要程度,搜索引擎效果自動(dòng)評(píng)價(jià),例：查詢“瘋狂英語(yǔ)”,答案自動(dòng)標(biāo)注實(shí)驗(yàn),實(shí)驗(yàn)數(shù)據(jù)8個(gè)月查詢?nèi)罩?超過(guò)7億條日志信息)針對(duì)其中高頻導(dǎo)航類(lèi)查詢進(jìn)行自動(dòng)標(biāo)注對(duì)每個(gè)時(shí)間段抽取約5%的數(shù)據(jù)進(jìn)行手工檢查,自動(dòng)性能評(píng)價(jià)實(shí)驗(yàn),與手工評(píng)價(jià)結(jié)果類(lèi)似手工評(píng)價(jià)結(jié)果與自動(dòng)評(píng)價(jià)結(jié)果MRR值的相關(guān)系數(shù)達(dá)到0.965,SE1 SE2 SE3 SE4 SE5

18、,自動(dòng)性能評(píng)價(jià)實(shí)驗(yàn),使用不同日志數(shù)據(jù)的實(shí)驗(yàn)使用單搜索引擎日志,SE1 SE2 SE3 SE4 SE5 SE6,自動(dòng)性能評(píng)價(jià)實(shí)驗(yàn),使用不同類(lèi)型日志數(shù)據(jù)的實(shí)驗(yàn)使用多搜索引擎日志,SE1 SE2 SE3 SE4 SE5 SE6,自動(dòng)性能評(píng)價(jià)實(shí)驗(yàn),使用不

19、同類(lèi)型日志數(shù)據(jù)的實(shí)驗(yàn)使用多搜索引擎日志進(jìn)行交叉評(píng)價(jià)（評(píng)價(jià)某搜索引擎性能時(shí)不使用其對(duì)應(yīng)的日志數(shù)據(jù)）,SE1 SE2 SE3 SE4,自動(dòng)性能評(píng)價(jià)實(shí)驗(yàn),針對(duì)中文搜索引擎的評(píng)價(jià)實(shí)驗(yàn)導(dǎo)航類(lèi)信息需求易于進(jìn)行手工評(píng)價(jià)的比較信息事務(wù)類(lèi)信息需求用于參照的手工評(píng)價(jià)結(jié)果的正確性本身難以保證難以進(jìn)行答案可靠性的驗(yàn)證“搜索儀”的評(píng)價(jià)結(jié)果（參見(jiàn)

20、演示）,提綱,研究背景信息檢索系統(tǒng)的評(píng)價(jià)方法基于用戶行為分析的搜索引擎性能評(píng)價(jià)演示系統(tǒng)：搜索儀結(jié)論與未來(lái)工作,搜索儀：評(píng)價(jià)搜索,Http://searchE.thuir.cn/,搜索儀：評(píng)價(jià)搜索,Http://searchE.thuir.cn/,搜索儀：評(píng)價(jià)搜索,主要特點(diǎn)一定程度取代評(píng)價(jià)搜索引擎性能的繁瑣手工標(biāo)注操作更加客觀、標(biāo)準(zhǔn)均一反饋周期更短標(biāo)注代表性更強(qiáng)實(shí)現(xiàn)對(duì)數(shù)以千計(jì)查詢主題的標(biāo)注功能演示！,提綱,研究背景信

21、息檢索系統(tǒng)的評(píng)價(jià)方法基于用戶行為分析的搜索引擎性能評(píng)價(jià)演示系統(tǒng)：搜索儀結(jié)論與未來(lái)工作,結(jié)論與未來(lái)工作,用戶行為分析的方法一直是信息檢索相關(guān)研究向前發(fā)展的推動(dòng)力實(shí)質(zhì)：對(duì)人類(lèi)信息獲取規(guī)律的研究基于用戶行為分析的方法進(jìn)行搜索引擎性能評(píng)價(jià)是適當(dāng)?shù)乃阉饕娴淖詣?dòng)性能評(píng)價(jià)導(dǎo)航類(lèi)查詢需求能夠較好的實(shí)現(xiàn)自動(dòng)評(píng)價(jià)信息事務(wù)類(lèi)查詢?nèi)孕柽M(jìn)一步的考察,可能的未來(lái)應(yīng)用方向,檢索效果的實(shí)時(shí)監(jiān)控檢索系統(tǒng)自身運(yùn)營(yíng)維護(hù)的需要及時(shí)發(fā)現(xiàn)并預(yù)警系統(tǒng)問(wèn)題面向

22、特定領(lǐng)域需求的性能評(píng)價(jià)特定領(lǐng)域需求 => 特定領(lǐng)域查詢?cè)~針對(duì)特定領(lǐng)域需求，使用特定的查詢?cè)~進(jìn)行評(píng)價(jià)。,可能的未來(lái)應(yīng)用方向,汽車(chē)領(lǐng)域的搜索引擎排名查詢?cè)~樣例：現(xiàn)代、奇瑞汽車(chē)、寶馬,可能的未來(lái)應(yīng)用方向,流行歌手領(lǐng)域的搜索引擎排名查詢?cè)~樣例：周杰倫、劉德華、林心如,部分相關(guān)文獻(xiàn),Yiqun Liu, Yupeng Fu, Min Zhang, Liyun Ru, Shaoping Ma. 2007. Automatic sear

23、ch engine performance evaluation with click-through data analysis. In Proceedings of the 16th international Conference on World Wide Web, WWW '07. 1133-1134.劉奕群，張敏，金奕江，馬少平，一種搜索引擎性能評(píng)價(jià)的自動(dòng)化處理方法，專(zhuān)利申請(qǐng)?zhí)?00610144289.X。岑榮偉

24、，劉奕群，張敏，金奕江，馬少平，一種基于用戶行為信息的搜索引擎檢索結(jié)果重排序方法，專(zhuān)利申請(qǐng)?zhí)?00710099594.6。岑榮偉，劉奕群，張敏，金奕江，馬少平，一種網(wǎng)絡(luò)關(guān)鍵資源頁(yè)面的自動(dòng)定位方法，專(zhuān)利申請(qǐng)?zhí)?00710098531.9劉奕群,岑榮偉,張敏,馬少平.基于用戶行為分析的搜索引擎自動(dòng)性能評(píng)價(jià).軟件學(xué)報(bào)2007年已錄用.,廣告：NCIRCS2008,歡迎大家向第四屆全國(guó)信息檢索與內(nèi)容學(xué)術(shù)會(huì)議積極投稿2008年11月在北京舉