基于交互式問(wèn)答的日常對(duì)話系統(tǒng).pdf

1、近年來(lái),搜索技術(shù)的發(fā)展推進(jìn)了以搜索為基礎(chǔ)的在線問(wèn)答系統(tǒng)的出現(xiàn),以及更高級(jí)的交互式問(wèn)答系統(tǒng)在各個(gè)領(lǐng)域的應(yīng)用。交互式問(wèn)答系統(tǒng)是指人與系統(tǒng)之間能夠用自然語(yǔ)言的形式,進(jìn)行交互的、上下文相關(guān)的、在一個(gè)會(huì)話過(guò)程中連續(xù)的對(duì)話。目前的交互式問(wèn)答系統(tǒng)多是針對(duì)某一具體領(lǐng)域的,系統(tǒng)的表現(xiàn)性能,很大程度上依賴于該領(lǐng)域知識(shí)庫(kù)的規(guī)模。系統(tǒng)的回復(fù)即是在該知識(shí)庫(kù)中搜索到的與用戶問(wèn)句匹配的答案。領(lǐng)域不同,對(duì)應(yīng)的知識(shí)庫(kù)不同。但是,以日常對(duì)話為內(nèi)容的問(wèn)答,是基于任一領(lǐng)域的日

2、常問(wèn)答系統(tǒng)都涉及到的。而且,系統(tǒng)在日常對(duì)話方面回答的優(yōu)劣,在很大程度上，會(huì)影響到用戶對(duì)整個(gè)系統(tǒng)性能的評(píng)價(jià)。如何提高交互式問(wèn)答系統(tǒng)在日常對(duì)話中的人性化和智能化,是本課題的主要研究?jī)?nèi)容。
　　本課題主要從以下幾個(gè)方面著手:
　　(1)按類別組織構(gòu)建日常對(duì)話問(wèn)答庫(kù)
　　將日常對(duì)話功能視為交互式問(wèn)答系統(tǒng)的一個(gè)獨(dú)立模塊,建立該模塊的對(duì)話知識(shí)庫(kù)。按照日常對(duì)話所討論對(duì)象的范圍,將知識(shí)庫(kù)分為19個(gè)類別,選用AIML語(yǔ)言編寫。通過(guò)ALI

3、CE系統(tǒng)的接口,對(duì)用戶的問(wèn)句,使用基于模式匹配的算法在知識(shí)庫(kù)中搜索匹配答案,給出回復(fù)。AIML語(yǔ)言支持兩種正則表達(dá)式模糊匹配,一定程度上，擴(kuò)大了系統(tǒng)可應(yīng)答范圍。
　　(2)用戶對(duì)話按照對(duì)話場(chǎng)景進(jìn)行層次分類,給出基于類別的回復(fù)處理對(duì)于在日常對(duì)話庫(kù)中無(wú)法準(zhǔn)確匹配的問(wèn)句,按其所屬的對(duì)話場(chǎng)景進(jìn)行分類,針對(duì)類別給出對(duì)應(yīng)的處理方法,或者基于類別的模糊回答。本課題中,收集、觀察并分析了用戶與系統(tǒng)間的問(wèn)答記錄,根據(jù)人機(jī)對(duì)話場(chǎng)景、系統(tǒng)的回答模式和用

4、戶的提問(wèn)方式,確定了日常對(duì)話分類的類別。經(jīng)過(guò)初步試驗(yàn),對(duì)日常對(duì)話分類類別進(jìn)行了調(diào)整,最后通過(guò)兩層分類實(shí)現(xiàn)。分類所用語(yǔ)料為經(jīng)過(guò)多人標(biāo)注的真實(shí)環(huán)境下的人機(jī)問(wèn)答對(duì)話記錄。第一層分類用金融詞匯對(duì)問(wèn)句進(jìn)行過(guò)濾,得到日常類對(duì)話。第二層分類是對(duì)日常類對(duì)話進(jìn)行細(xì)分類。通過(guò)分析日常類對(duì)話在各個(gè)類別的分布,將最初的19個(gè)類別調(diào)整為最終的14個(gè)類別標(biāo)簽。對(duì)問(wèn)句提取的特征,包括:詞、擴(kuò)展詞、詞性、語(yǔ)義、問(wèn)句模板、正負(fù)情感詞、句子結(jié)構(gòu)等,使用信息增益方法進(jìn)行特征

5、選擇,并分別用樸素貝葉斯、k最近鄰和支持向量機(jī)的分類方法進(jìn)行分類測(cè)試。在收集到的1002條問(wèn)句的測(cè)試集上，最終的分類準(zhǔn)確率達(dá)到了68.84％,召回率為63.50%,F1值為61.99%。在日常對(duì)話知識(shí)庫(kù)中匹配失敗的問(wèn)句,針對(duì)其分類類別進(jìn)行對(duì)應(yīng)場(chǎng)景下的處理方式。
　　(3)用戶問(wèn)句復(fù)述識(shí)別
　　識(shí)別同一用戶的重復(fù)提問(wèn),并給出人性化提示,而不是反復(fù)給出相同的檢索答案,是系統(tǒng)智能性得到提高的一個(gè)表現(xiàn)方面。問(wèn)句復(fù)述的判定,還可以用來(lái)