信息檢索系統(tǒng)的評價

1、,提 問 1 試解釋信息檢索系統(tǒng)的內(nèi)涵。 2 什么是”評價”？,第十一章 信息檢索系統(tǒng)評價 11.1 評價研究概述,一、意義評價（Evaluation）：發(fā)現(xiàn)和收集關(guān)于某種活動的數(shù)據(jù)，從中判斷該項活動的質(zhì)量及達(dá)到預(yù)期目標(biāo)程度的行為。 簡單地說，評價就是對系統(tǒng)的價值和效率進(jìn)行測評。信息檢索系統(tǒng)評價：根據(jù)給定的指標(biāo)體系，采用一定的方法和程序，對信息檢索系統(tǒng)的功能、特性和運(yùn)營狀況進(jìn)行評測，或?qū)?/p>

2、有關(guān)假設(shè)、預(yù)期效益、性能值進(jìn)行驗證，以確定系統(tǒng)達(dá)到了何種水平、投入成本是否值得、是否可以改進(jìn)和如何改進(jìn)，乃至系統(tǒng)是否應(yīng)生存下去。,第十一章 信息檢索系統(tǒng)評價 11.1 評價研究概述,一、意義 信息檢索系統(tǒng)的評價研究，一直是信息檢索領(lǐng)域的一項重要研究內(nèi)容。多年來人們進(jìn)行了大量的評價試驗和多角度的探索。 原因在于，檢索系統(tǒng)評價工作在為研究者驗證檢索系統(tǒng)效益、比較各種檢索技術(shù)的優(yōu)劣、改進(jìn)現(xiàn)有檢索系

3、統(tǒng)、開發(fā)新的應(yīng)用領(lǐng)域等方面，都具有不可替代的作用。,第十一章 信息檢索系統(tǒng)評價 11.1 評價研究概述,一、意義主要意義：了解已有檢索系統(tǒng)的功能，找出缺陷并改進(jìn)；比較各種檢索系統(tǒng)的優(yōu)劣；提高提高效率和效益；有助于新的檢索系統(tǒng)的設(shè)計；豐富信息檢索的理論。,第十一章 信息檢索系統(tǒng)評價 11.1 評價研究概述,二、評價范圍與類型 信息檢索系統(tǒng)是一個有眾多功能模塊組成的集合體。 評價可以從

4、不同角度、基于不同目的和方法來進(jìn)行。? 評價范圍：各種類型的檢索系統(tǒng)及組成要素。? 評價類型： ? 宏觀評價：著眼于檢索系統(tǒng)的宏觀方面，如情報源類型、系統(tǒng)結(jié)構(gòu)、收錄范圍、利用率等。 ? 個別評價：僅對系統(tǒng)的某一性能、功能進(jìn)行評價。 ? 性能評價(performance evaluation)：面向用戶的評價，測定檢索系統(tǒng)的質(zhì)量或服務(wù)效果。也稱為檢索效果評價(effectiveness evaluation)。,第十一章

5、 信息檢索系統(tǒng)評價 11.1 評價研究概述,二、評價范圍與類型評價類型： ? 效益評價（benefits evaluation）：測定系統(tǒng)或用戶獲得的的經(jīng)濟(jì)效益和社會效益。 (有直接的、潛在的；難以直接計量) ? 費(fèi)用/效果評價（cost effectiveness evaluation）：考察系統(tǒng)達(dá)到的性能與費(fèi)用消耗之間的關(guān)系。（用戶、系統(tǒng)兩方面） ? 費(fèi)用/效益評價（cost benefits evalua

6、tion）：考察系統(tǒng)的服務(wù)效益與費(fèi)用消耗間的關(guān)系。（計量難度較大） (詳見P207的解釋),第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),一、評價指標(biāo)體系 要評價一個檢索系統(tǒng)，必須有一套科學(xué)的評價標(biāo)準(zhǔn)。 建立檢索系統(tǒng)評價指標(biāo)體系應(yīng)遵循的原則：各指標(biāo)應(yīng)定義單一、明確，具有可操作性。評價指標(biāo)最好能夠量化或計量。指標(biāo)要完善、細(xì)致、全面。 下面給出傳統(tǒng)檢索系統(tǒng)評價指標(biāo)體系模型：（供參考）,第十一章

7、 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),,逐一評價這些指標(biāo)，可以判定檢索系統(tǒng)的優(yōu)劣。 其中，比較重要的是檢索性能指標(biāo)。,11.2 評價指標(biāo),問 題:什么是查全率、查準(zhǔn)率?,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析1．查全率和查準(zhǔn)率查全率(Recall ratio，R)：衡量一次檢索中與提問相關(guān)的文獻(xiàn)有多少篇被檢出。（衡量檢出相關(guān)文獻(xiàn)的能力）,第十一章 信息檢索系統(tǒng)評價 1

8、1.2 評價指標(biāo),二、主要性能指標(biāo)及分析1．查全率和查準(zhǔn)率查準(zhǔn)率(Precision ratio，P)：衡量被檢出的文獻(xiàn)中有多少篇與提問相關(guān)。 （衡量檢索的精確度）,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析 例： 設(shè)某檢索系統(tǒng)的數(shù)據(jù)庫中共有相關(guān)文獻(xiàn)20篇。針對某一個提問，檢出文獻(xiàn)總數(shù)為30篇，其中相關(guān)文獻(xiàn)數(shù)為15篇。求查全率R、查準(zhǔn)率P。,,,第十一章 信息檢索系統(tǒng)評價 1

9、1.2 評價指標(biāo),二、主要性能指標(biāo)及分析 為便于分析，我們給出數(shù)學(xué)語言描述：設(shè)某文獻(xiàn)庫所存儲的文獻(xiàn)總量為L。對某一給定提問， a—表示被檢出的與提問相關(guān)的文獻(xiàn)數(shù)；（前例 a=15） b—表示被檢出的與提問無關(guān)的文獻(xiàn)數(shù)；（誤檢，前例 b=15） c—表示與提問相關(guān)，但未被檢出的文獻(xiàn)數(shù)（漏檢，前例 c=5）,,,,,,,顯然，Ｑ＝１－Ｒ，Ｅ＝１－p,第十一章 信息檢索系統(tǒng)評價 11.

10、2 評價指標(biāo),二、主要性能指標(biāo)及分析1．查全率和查準(zhǔn)率 下面討論與查全率、查準(zhǔn)率有關(guān)的幾個問題。（１）查全率和查準(zhǔn)率的相互關(guān)系一個理想的檢索系統(tǒng)，應(yīng)是Ｒ＝１、Ｐ＝１。 但實際上是不可能的。一般說來，二者之間存在著反變關(guān)系，即： 若要提高查全率，查準(zhǔn)率往往就會下降； 若要提高查準(zhǔn)率，查全率又就會下降。 （二者相互制約）,,,,,,,第十一章 信

11、息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（１）查全率和查準(zhǔn)率的相互關(guān)系Ｒ與Ｐ的關(guān)系可由下圖描述：（稱為Ｒ—Ｐ圖）,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析1．查全率和查準(zhǔn)率（２）影響查全率、查準(zhǔn)率的相關(guān)因素 ①文獻(xiàn)庫編制質(zhì)量 文獻(xiàn)收集是否齊全，索引體系是否完善，檢索途徑的多少，都會影響到查全率。 ②對情報需求的理解

12、要達(dá)到較高的查全率Ｒ和查準(zhǔn)率Ｐ，應(yīng)較好地理解情報需求，制定好檢索策略。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（２）影響查全率、查準(zhǔn)率的相關(guān)因素 ③檢索語言的一致性 檢索的實質(zhì)就是提問標(biāo)識與文獻(xiàn)標(biāo)識的異同比較。 為此，需要不同人員表達(dá)文獻(xiàn)主題的語言一致，更需要標(biāo)識提問與標(biāo)識文獻(xiàn)的語言一致。即，標(biāo)引語言和檢索語言的一致性，對查全和查準(zhǔn)起著支配作用。

13、 ④標(biāo)引的網(wǎng)羅性 對文獻(xiàn)主題分析得越透徹，抽出的檢索詞越多，檢索時可檢出的相關(guān)文獻(xiàn)就越多，即查全率越高。但檢出的文獻(xiàn)并非全部適用，因而查準(zhǔn)率降低。 反之，如果標(biāo)引時只標(biāo)出中心主題，檢出的文獻(xiàn)必然比較適用，即查準(zhǔn)率較高。但漏檢會增多，從而降低查全率。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（２）影響查全率、查準(zhǔn)率的相關(guān)因素 ⑤ 檢索詞的專指性

14、 檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻(xiàn)就會越對口，查準(zhǔn)率就越高。但命中文獻(xiàn)就越少，查全率就會降低。 相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻(xiàn)就會增多，查全率會提高。但不相關(guān)的文獻(xiàn)也會增多，查準(zhǔn)率會降低。 ⑥ 檢索策略和提問構(gòu)造 對檢索詞的選取，需恰當(dāng)?shù)卮_定網(wǎng)羅度和專指度。 當(dāng)采用布爾組配時，若使用AND較多，即限制嚴(yán)，則Ｒ下降，而Ｐ上升；反之，若使用OR較多，則Ｒ上

15、升，而Ｐ下降。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（２）影響查全率、查準(zhǔn)率的相關(guān)因素 ⑦ 檢索軟件的功能 檢索軟件功能是否完善，結(jié)構(gòu)是否合理，影響到是否會漏檢和誤檢。 ⑧ 檢索者的熟練程度 檢索人員的專業(yè)知識水平、使用系統(tǒng)的熟練程度，對R和P影響很大。往往是系統(tǒng)一方的檢索者自擬定檢索式時查準(zhǔn)率高，而檢索用戶編制檢索式時，因不熟悉系統(tǒng)和不善于使

16、用系統(tǒng)，就容易造成誤檢、漏檢。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析 1．查全率和查準(zhǔn)率（３）對查全率和查準(zhǔn)率的要求 作為一個檢索系統(tǒng)，應(yīng)同時具備較強(qiáng)的查全能力和查準(zhǔn)能力。但并不是每個用戶在任何時候都需要高查全率和高查準(zhǔn)率，不同用戶有不同要求。 通常，根據(jù)不同的情報需求，可分為四種要求： a．要求查全率Ｒ=１ 如申請專利、發(fā)明或評定

17、某項成果，需要對世界范圍的有關(guān)情報作全面了解，才能作出客觀的評價。此時往往要求Ｒ=１的檢索。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（３）對查全率和查準(zhǔn)率的要求 b．要求較高查全率 例如編寫教材、綜述某學(xué)科或技術(shù)領(lǐng)域的發(fā)展，往往需要較全面地獲得有關(guān)文獻(xiàn)或情報。此時對查全率有較高要求，但不一定要求Ｒ＝１。 c．要求較高查準(zhǔn)率 例如要了

18、解某種具體產(chǎn)品的有關(guān)信息，解決某一具體問題或查新等，往往只需了解某一方面或某一時期的有關(guān)情報。此時要求查準(zhǔn)率較高。,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析（３）對查全率和查準(zhǔn)率的要求 d．對查全率、查準(zhǔn)率無具體要求 有些情報需求，用戶本身不能作出確切表達(dá)。因此，用戶對查全率和查準(zhǔn)率也無法提出具體要求。 從上面的討論可以看出，在分析和評價某一檢索

19、的檢索質(zhì)量時，不能千篇一律地追求查全率和查準(zhǔn)率，而應(yīng)具體問題具體分析。,,,,,,,,二、主要性能指標(biāo)及分析2．響應(yīng)時間（response time） 對任何計算機(jī)應(yīng)用系統(tǒng)，響應(yīng)時間都是一個重要指標(biāo)。 信息檢索的響應(yīng)時間可分為兩種情形： （1）委托檢索，表示從用戶送交提問到收到檢索結(jié)果所花的時間； （2）非委托檢索，表示用戶實際的檢索時間。計算響應(yīng)時間一般都是針對某一個提問而言，不同的提問對應(yīng)的響應(yīng)時間

20、不同。（因提問式長短、復(fù)雜程度而不同） 有時給出平均響應(yīng)時間T。ti表示對第i個提問的響應(yīng)時間，k為提問個數(shù),,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),問 題:檢索響應(yīng)時間與哪些因素有關(guān)?,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析 2．響應(yīng)時間 通過對檢索響應(yīng)時間的分析，我們可歸納出影響該指標(biāo)的因素： (1)文獻(xiàn)庫規(guī)模 規(guī)模

21、越大，檢索時間越長，響應(yīng)時間值也就越大。 (2)機(jī)器速度 主機(jī)運(yùn)行速度越快，響應(yīng)時間越短。 (3)檢索軟件 檢索軟件是關(guān)鍵，其性能越好，檢索時間就越短。,,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析2．響應(yīng)時間(4)存儲設(shè)備類型和數(shù)據(jù)的存貯結(jié)構(gòu) 存儲設(shè)備的訪問速度越快，數(shù)據(jù)的存貯結(jié)構(gòu)（外存貯）越合理，檢索越容易，響應(yīng)時間也就越短

22、。(5)提問組配形式 檢索式的構(gòu)造需要有一定的專業(yè)技能和檢索經(jīng)驗，是一個不斷修改和完善的過程。(6)信息中心與檢索者的距離 通信傳輸時間與距離有關(guān)。,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析 ３．存貯空間開銷 包括系統(tǒng)所占用的內(nèi)存空間和外存空間。對內(nèi)存空間，當(dāng)檢索系統(tǒng)采用大、中型計算機(jī)時，一般不必考慮；而當(dāng)系統(tǒng)采用小型、微型機(jī)時，因內(nèi)存空間有限，就需合理分配。

23、對外存空間，不同的文檔結(jié)構(gòu)所需存儲空間差別很大。例如，順排文檔檢索和倒排文檔檢索所需空間不同；而對倒排檢索，系統(tǒng)僅提供布爾檢索功能與提供正文檢索功能相比，所需的空間也大不一樣。,,,,,,,,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析 ４．其它指標(biāo) （1）新穎率(Novelty ratio，N)：指一次檢索中檢出的相關(guān)文獻(xiàn)有多少篇是新文獻(xiàn)。（反映文獻(xiàn)庫更新程度）

24、 檢出的新的相關(guān)文獻(xiàn)量 N = ———————————— 檢出的相關(guān)文獻(xiàn)總量,第十一章 信息檢索系統(tǒng)評價 11.2 評價指標(biāo),二、主要性能指標(biāo)及分析４．其它指標(biāo)（2）信息收錄完備性(Coverage，C)：也稱收錄范圍，是指文獻(xiàn)庫復(fù)蓋的學(xué)科范圍、信息類型、數(shù)量和時間跨度。 給定時間內(nèi)系統(tǒng)收錄的文獻(xiàn)總量 C =