問答系統(tǒng)中問句分析技術(shù)的研究與應(yīng)用.pdf

1、當(dāng)前的信息檢索系統(tǒng)基于關(guān)鍵詞進(jìn)行查詢，忽略了語義的多樣性和語言結(jié)構(gòu)分析。問答系統(tǒng)允許用戶使用自然語言問句進(jìn)行信息查詢，不僅符合人們的習(xí)慣，而且能夠更加精確地描述用戶的信息需求；系統(tǒng)直接返回確切答案或者蘊(yùn)含答案的文本片段，提高了用戶信息查詢的效率。因此，問答系統(tǒng)是信息檢索技術(shù)向人性化、智能化方向發(fā)展的必然趨勢(shì)。問句分析就是對(duì)問句的理解，是問答系統(tǒng)的核心技術(shù)。正確地理解問句是問題求解的前提條件，只有正確理解問句才能找到正確的答案。以往的問答

2、系統(tǒng)的主要研究對(duì)象是事實(shí)類問句，針對(duì)這類問句的分析技術(shù)已經(jīng)比較完善。但面向非事實(shí)類復(fù)雜問句的分析研究才剛剛開始?；ヂ?lián)網(wǎng)上存在大量的非事實(shí)類問答資源，這些問答資源廣泛存在于各大基于網(wǎng)絡(luò)社區(qū)的問答系統(tǒng)（Community Question Answering system, CQA）中。在CQA中，用戶通過“人問人答”的方式進(jìn)行信息交流和知識(shí)積累。CQA能夠解決一些需要專業(yè)知識(shí)甚至復(fù)雜推理的問題，在一定程度上彌補(bǔ)了自動(dòng)問答系統(tǒng)和搜索引擎的不

3、足。這類系統(tǒng)發(fā)展非常迅速，已經(jīng)在互聯(lián)網(wǎng)上形成了海量的問答資源。這些資源多數(shù)屬于非常復(fù)雜的非事實(shí)類問句。對(duì)這些問答資源進(jìn)行分析和重復(fù)利用也需要新的問句分析技術(shù)和手段。本文重點(diǎn)研究了問句尤其是非事實(shí)類問句的分析技術(shù)，旨在解決非事實(shí)類復(fù)雜問句的分析及求解。研究?jī)?nèi)容主要包括以下幾個(gè)部分：
　　第一，對(duì)問句預(yù)處理問題展開研究，提出了一種粗糙集與最大熵相結(jié)合的模型，用于解決問句中并列結(jié)構(gòu)的識(shí)別問題。該模型使用粗糙集對(duì)特征屬性進(jìn)行約減，然后將約

4、減后生成的決策規(guī)則轉(zhuǎn)化為組合特征與原有特征一起作為輸入提供給最大熵模型。實(shí)驗(yàn)表明，使用組合特征后，并列結(jié)構(gòu)的識(shí)別準(zhǔn)確率和召回率都有提高。另外，還研究了問句的句法分析，提出了一種基于詞知識(shí)的依存句法分析方法（Knowledge based Probabilistic Dependency Parsing, KPDP）。該算法的有效性在中文和英文兩個(gè)語料庫(kù)上得到了驗(yàn)證，在此基礎(chǔ)上將該方法應(yīng)用于問句句法分析，取得了較好的效果。
　　(Q

5、uestion Information Chunk Annotation,QICA）分析方法。該方法依據(jù)語義將問句中的信息分為五類，從而將問句從字符空間影射到一個(gè)結(jié)構(gòu)化的語義空間，更易于問句的理解和表示。將QICA轉(zhuǎn)化為一個(gè)序列化標(biāo)注問題，并同時(shí)使用最大熵模型、最大熵馬爾可夫模型、條件隨機(jī)場(chǎng)模型以及大間隔馬爾可夫模型進(jìn)行了標(biāo)注實(shí)驗(yàn)，其中大間隔馬爾可夫模型取得了最好的標(biāo)注效果。第三，對(duì)問句分類問題展開研究，針對(duì)非事實(shí)類問句無法按照答案類型

6、設(shè)計(jì)問句分類體系的問題，設(shè)計(jì)了一個(gè)粗粒度的問句分類體系。應(yīng)用多分類的思想實(shí)現(xiàn)了相應(yīng)的復(fù)雜問句多分類，即一個(gè)問句可以同時(shí)屬于多個(gè)分類，問句的分類結(jié)果是一個(gè)問句類別集合。最后提出了兩步解決方法：第一步，判斷一個(gè)問句是否屬于某一個(gè)問句分類，第二步，合并這些分類的結(jié)果，最終給出問句的分類集合。第四，對(duì)海量問句的檢索問題展開研究，使用搜索引擎的倒排索引技術(shù)并擴(kuò)展了傳統(tǒng)的VSM（Vector Space Model）模型，設(shè)計(jì)了一個(gè)基于語義的S-V

7、SM (Semantic Vector Space Model)模型。利用QICA分析結(jié)果和問句分類結(jié)果，S-VSM實(shí)現(xiàn)了在檢索過程中問句間語義相似度的計(jì)算。實(shí)驗(yàn)表明S-VSM較VSM具有明顯的優(yōu)勢(shì)。最后，將本文研究的問句分析技術(shù)應(yīng)用到實(shí)踐，實(shí)現(xiàn)了一個(gè)面向金融領(lǐng)域的問答系統(tǒng)。該系統(tǒng)包含三個(gè)子系統(tǒng)：（1）數(shù)據(jù)采集子系統(tǒng)，完成問答語料庫(kù)的構(gòu)建；（2）在線問答子系統(tǒng)，為互聯(lián)網(wǎng)上的用戶提供知識(shí)交流平臺(tái)；（3）問句檢索子系統(tǒng)，通過檢索問答數(shù)據(jù)庫(kù)完