基于大規(guī)模問答語料的問題檢索系統(tǒng).pdf

1、由于問句表達(dá)的文本模糊性以及自然語言本身的復(fù)雜性，現(xiàn)有的web搜索引擎還不能很好的處理用戶的自然語言提問。正是由于web搜索引擎的這種不足，問答服務(wù)型網(wǎng)站作為其有益補(bǔ)充，在近年來得到快速的發(fā)展。在問答服務(wù)型網(wǎng)站，用戶可以直接用自然語言描述自己的問題，并獲取其他用戶提供的答案，而無需像使用web搜索引擎那樣，在大量返回結(jié)果中尋找答案。目前如“Yahoo! Answers”、“新浪愛問”、“百度知道”等問答服務(wù)型網(wǎng)站已經(jīng)積累了海量的問答數(shù)據(jù)

2、。比如截止至2009年7月，“百度知道”已經(jīng)積累了超過7千萬個(gè)中文問答對(duì)。
　　 本論文的研究以互聯(lián)網(wǎng)上的海量問答對(duì)數(shù)據(jù)為基礎(chǔ)，構(gòu)建基于大規(guī)模問答語料的問題檢索系統(tǒng)中的關(guān)鍵技術(shù)。問題檢索系統(tǒng)的主要思想是：根據(jù)用戶提出的問題，可以在已有的問答語料中檢索與該提問具有相同語義的問答對(duì)數(shù)據(jù)，并提供給用戶，以直接滿足用戶的信息需求，從而避免了用戶從大量網(wǎng)頁中歸納答案、或者等待其他用戶提供答案所帶來的不便。
　　 本論文對(duì)基于大規(guī)模

3、問答語料的問題檢索系統(tǒng)展開了一系列研究。首先，本論文研究了問題檢索系統(tǒng)中的問題文本分類任務(wù)，以進(jìn)一步確定用戶的信息需求，改善用戶的使用體驗(yàn)；同時(shí)，本論文提出對(duì)用戶提問的主題進(jìn)行分析，以更好的確定用戶的信息需求，并自動(dòng)的為用戶提供與該提問語義相同或者相近的問題及相應(yīng)的答案，以直接滿足用戶的信息需求；此外，考慮到人類社會(huì)中大量沒有被問答服務(wù)型網(wǎng)站所包含，甚至并沒有形成網(wǎng)頁的知識(shí)，本論文討論了如何對(duì)討論組所產(chǎn)生的文本聊天數(shù)據(jù)進(jìn)行分析，并從中提

4、煉出問答數(shù)據(jù)，以擴(kuò)充問題檢索系統(tǒng)所能使用的問答語料，進(jìn)一步提升問題檢索系統(tǒng)的性能。本論文具體的研究內(nèi)容和相關(guān)成果如下：
　　
　　 1、為了完善問題檢索系統(tǒng)的功能，本論文深入研究了問題分類技術(shù)在問題檢索系統(tǒng)中的應(yīng)用。問題檢索系統(tǒng)中的主要任務(wù)之一是對(duì)用戶的提問進(jìn)行分類，以進(jìn)一步確定用戶的信息需求。基于Kullback-Leibler Distance的分類算法在大規(guī)模文本和高維向量分類任務(wù)中表現(xiàn)出較高的分類精度，本論文在

5、該算法的基礎(chǔ)上，結(jié)合語言模型的思想，提出一種改進(jìn)的分類算法：n-gram KLD。通過在一個(gè)大尺度的問答數(shù)據(jù)集合上進(jìn)行的一系列實(shí)驗(yàn)，表明n-gram KLD算法在問題分類任務(wù)中取得了優(yōu)于傳統(tǒng)算法的分類效果，并且在計(jì)算復(fù)雜度以及對(duì)噪聲數(shù)據(jù)敏感度方面都較好的滿足了問題分類任務(wù)的要求。
　　 2、本論文在語言模型的框架下，提出一種計(jì)算問題之間的相似度的方法。問題相似度計(jì)算的主要困難在于，問題文本往往較短，傳統(tǒng)的文本相似度計(jì)算方法僅考慮

6、了長文本的相似度處理，很難用于判斷兩個(gè)問句的主題是否相關(guān)；而針對(duì)問題本文等短文本的相似度計(jì)算的工作還較少。本論文提出利用大規(guī)模語料庫中的單詞之間的共現(xiàn)頻度對(duì)單詞間的關(guān)聯(lián)關(guān)系進(jìn)行建模；在此基礎(chǔ)上，利用隨機(jī)行走的思想，計(jì)算問句中各個(gè)單詞與問句主題的相關(guān)程度，并按照與問句主題相關(guān)程度的不同，對(duì)問句中的不同單詞設(shè)置不同的權(quán)重，以突出問句的主題。通過該策略有助于發(fā)現(xiàn)同樣反映該主題的問句。實(shí)驗(yàn)表明，使用該方法可以有效的檢索到與用戶提問相關(guān)的其他問句

7、，有助于根據(jù)使用者的信息需求，提供更高質(zhì)量的檢索服務(wù)。
　　 3、按照百度的“暗網(wǎng)”計(jì)劃的描述，互聯(lián)網(wǎng)上的信息僅有不足0.2％的部分型成了可以被檢索的網(wǎng)頁，而人類社會(huì)中的大量知識(shí)還不能被搜索引擎檢索到。本論文關(guān)注了由討論組所產(chǎn)生的文本聊天數(shù)據(jù)。文本聊天數(shù)據(jù)中包含了大量的可用信息，這些信息往往構(gòu)成不同的線索，每條線索都是關(guān)于某話題的有用的問答數(shù)據(jù)，但這些問答數(shù)據(jù)尚未能得到很好的管理和挖掘。本論文通過考慮聊天數(shù)據(jù)中消息的內(nèi)容和上下文