基于動(dòng)態(tài)增長(zhǎng)測(cè)試集的搜索引擎評(píng)價(jià)方法的研究與應(yīng)用.pdf

1、基于Cranfield體系的搜索引擎評(píng)價(jià)大多是多個(gè)搜索算法是在一個(gè)固定的測(cè)試集合上進(jìn)行的。這種評(píng)價(jià)方法相對(duì)而言比較客觀和公正，并且整個(gè)評(píng)價(jià)過(guò)程和結(jié)果可以重復(fù)再現(xiàn)。然而這種方式不適合生產(chǎn)環(huán)境下的搜索引擎，因?yàn)槠湮臋n規(guī)模是動(dòng)態(tài)增長(zhǎng)的，大量的未判斷的文檔將導(dǎo)致結(jié)果顯著變差。為了解決這一問(wèn)題，并在動(dòng)態(tài)增長(zhǎng)的索引上比較兩種搜索算法，本文針對(duì)系統(tǒng)領(lǐng)域的特殊性，構(gòu)建了必要的測(cè)試集合，并提出了一種基于動(dòng)態(tài)增加測(cè)試集的搜索引擎評(píng)價(jià)框架。該框架主要分為數(shù)據(jù)

2、生成、指標(biāo)計(jì)算和結(jié)果展示三個(gè)模塊。
　　為了保證該評(píng)價(jià)框架的有效性，本文采用了工作流引擎定期驅(qū)動(dòng)搜索引擎評(píng)價(jià)的設(shè)計(jì)，選取了適合待評(píng)價(jià)系統(tǒng)的評(píng)價(jià)指標(biāo)，還結(jié)合測(cè)試集合中話題的特點(diǎn)，提出了能夠更新測(cè)試集合的搜索結(jié)果與話題的相關(guān)性預(yù)測(cè)算法，并還給出了如何在一段時(shí)間內(nèi)每個(gè)評(píng)價(jià)指標(biāo)計(jì)算結(jié)果的比較方法。通過(guò)實(shí)驗(yàn)證明了評(píng)價(jià)指標(biāo)的選取是合理的，通過(guò)相關(guān)性預(yù)測(cè)算法更新測(cè)試集合是有效的，還給出了該評(píng)價(jià)方法的適用范圍。并且該方法得到了業(yè)務(wù)專(zhuān)家的認(rèn)同。