定義問(wèn)答檢索關(guān)鍵技術(shù)研究.pdf

1、問(wèn)答式信息檢索(簡(jiǎn)稱問(wèn)答檢索)是信息檢索領(lǐng)域的一個(gè)重要研究方向。定義問(wèn)答檢索是問(wèn)答檢索的一個(gè)重要分支,其根據(jù)指定的目標(biāo)概念,從開(kāi)放領(lǐng)域(或指定)的文本中檢索得到該概念的釋義文本。由于概念的種類及其屬性繁多且描述概念的方式較多,造成對(duì)其進(jìn)行描述的釋義文本形式差別巨大,從而使得當(dāng)前定義問(wèn)答檢索方法對(duì)釋義文本的識(shí)別具有一定困難。
　　 當(dāng)前方法以孤立語(yǔ)法標(biāo)識(shí)為特征的對(duì)釋義文本進(jìn)行形式化不利于釋義文本中釋義語(yǔ)義的表示和計(jì)算,因?yàn)槠湫问交?/p>

2、過(guò)程沒(méi)有涉及到語(yǔ)義內(nèi)容。不同種類概念及描述方式之間的差異造成釋義文本的語(yǔ)言形式差別大,以所有定義樣例為基礎(chǔ)的學(xué)習(xí)及模式匹配的識(shí)別率低。傳統(tǒng)的基于統(tǒng)計(jì)分析方法的定義識(shí)別中未能有效地計(jì)算語(yǔ)義特征在學(xué)習(xí)語(yǔ)料中出現(xiàn)的模糊性,降低了定義的識(shí)別率。當(dāng)前定義問(wèn)答檢索的傳統(tǒng)評(píng)價(jià)主要基于人工方式,一些基于自動(dòng)評(píng)價(jià)的算法的形式化只以詞匯為基礎(chǔ),沒(méi)有考慮答案文本的語(yǔ)法和語(yǔ)義特征,從而降低評(píng)價(jià)語(yǔ)義上的準(zhǔn)確性。
　　 針對(duì)釋義文本中語(yǔ)義內(nèi)容形式化問(wèn)題、候

3、選答案的評(píng)分過(guò)程中識(shí)別率低的問(wèn)題、語(yǔ)義計(jì)算過(guò)程中涉及模糊性的問(wèn)題和定義問(wèn)答檢索方法自動(dòng)評(píng)價(jià)中的語(yǔ)義問(wèn)題,本文探索使用釋義內(nèi)容單元(ECU)形式化釋義文本,并將基于案例推理的消極學(xué)習(xí)法應(yīng)用于定義評(píng)分過(guò)程,然后使用云模型進(jìn)行候選答案評(píng)分,最后在定義問(wèn)答檢索方法的自動(dòng)評(píng)價(jià)過(guò)程中使用金字塔模型。
　　 歸納起來(lái),本文的主要?jiǎng)?chuàng)新成果包括:
　　 ①提出了基于案例推理的定義問(wèn)答檢索方法。在文本檢索領(lǐng)域,基于案例推理的學(xué)習(xí)方法通常用來(lái)

4、處理復(fù)雜的文本檢索問(wèn)題(如法律案例檢索)。因此,本文首次將其用于定義問(wèn)答檢索。本文首先將概念的釋義文本進(jìn)行依存語(yǔ)法解析獲得其句法樹(shù),然后根據(jù)釋義元語(yǔ)言將句法樹(shù)轉(zhuǎn)換為釋義內(nèi)容單元作為釋義文本的形式化表示,從而構(gòu)建定義案例。該方法檢索與候選答案(查詢案例)相似的定義案例集合,然后使用該集合對(duì)候選答案進(jìn)行評(píng)分,減少相關(guān)性較低的定義案例對(duì)評(píng)分的影響。通過(guò)BCU-ECU方法增加案例檢索過(guò)程將其構(gòu)造為BCU-CASE方法,實(shí)驗(yàn)對(duì)比BCU-CASE、

5、BCU-ECU和DT基準(zhǔn)方法的F值的宏平均。實(shí)驗(yàn)結(jié)果顯示,BCU-CASE比DT提高24％,BCU-CASE比BCU-ECU提高6％?；诎咐评淼亩x問(wèn)答檢索方法有效,且優(yōu)于DT,其能改善一般基于統(tǒng)計(jì)分析的定義問(wèn)答檢索方法的性能。
　　 ②提出了基于云模型的定義問(wèn)答評(píng)分算法。自然語(yǔ)言的不確定性,尤其是模糊性和隨機(jī)性一直是自然語(yǔ)言量化過(guò)程需要解決的主要問(wèn)題,云模型通常用于量化自然語(yǔ)言的模糊性和隨機(jī)性,因此,本文首次將其用于定義問(wèn)

6、答評(píng)分。本文以定義案例的釋義內(nèi)容單元為基礎(chǔ)建立云模型的定量論域,然后將查詢案例的釋義內(nèi)容單元作為云滴計(jì)算其特征值,以特征值為基礎(chǔ)計(jì)算查詢案例的評(píng)分值。通過(guò)將BCU-CASE方法的案例識(shí)別階段的算法替換為該評(píng)分算法從而獲得CLOUD-CASE方法,實(shí)驗(yàn)通過(guò)對(duì)比CLOUD-CASE、BCU-CASE和DT基準(zhǔn)方法的F值的宏平均。實(shí)驗(yàn)結(jié)果顯示,CLOUD-CASE比DT提高27％,CLOUD-CASE比BCU-CASE提高3％?；谠颇Ｐ偷亩?/p>

7、義問(wèn)答評(píng)分算法有效,且優(yōu)于DT,云模型具有優(yōu)于基于統(tǒng)計(jì)分析的案例識(shí)別性能。
　　 ③提出了基于釋義內(nèi)容單元的釋義文本形式化方法。本文首先利用依存句法樹(shù)結(jié)構(gòu)的層次性句法和釋義元語(yǔ)言對(duì)釋義文本進(jìn)行分析,獲得用于釋義的單元結(jié)構(gòu)。實(shí)驗(yàn)基于BCU方法使用釋義內(nèi)容單元對(duì)句子進(jìn)行形式化從而構(gòu)建BCU-ECU方法。實(shí)驗(yàn)結(jié)果顯示,BCU-ECU與DT基準(zhǔn)方法的F值的宏平均,前者比后者提高18％,釋義內(nèi)容單元形式化有效,且能夠改善定義問(wèn)答檢索方法的

8、性能。
　　 ④提出了基于金字塔模型的定義問(wèn)答檢索的自動(dòng)評(píng)價(jià)算法APDQE。在自動(dòng)摘要的評(píng)價(jià)領(lǐng)域,金字塔算法已經(jīng)被用來(lái)作為評(píng)價(jià)的標(biāo)準(zhǔn)之一。因此,本文首次將其用于定義問(wèn)答的自動(dòng)評(píng)價(jià)。為了建立金字塔模型,本文以標(biāo)準(zhǔn)答案的釋義內(nèi)容單元為基礎(chǔ)建立金字塔,然后獲得被測(cè)答案中每個(gè)釋義內(nèi)容單元的權(quán)重值,最后計(jì)算出標(biāo)準(zhǔn)答案的得分。實(shí)驗(yàn)通過(guò).APDQE、POURPRE和人工評(píng)價(jià)不同定義問(wèn)答檢索算法的輸出結(jié)果,以此基礎(chǔ)計(jì)算APDQE和POIJRPR