聊天機器人知識庫自動抽取算法的研究與實現(xiàn).pdf

1、聊天機器人(chatbot)是一種通過自然語言同人進行交流的人機交流對話智能系統(tǒng)(conversationalagent)，人機之間的對話交流往往都局限于某個領(lǐng)域或者主題。聊天機器人一般都基于刺激——反應(yīng)原理：用戶提出一個問題，聊天機器人回答問題；或者用戶做出某些評論，聊天機器人做出相應(yīng)的反應(yīng)。為了增加對話的連續(xù)性，聊天機器人往往還會在聊天過程中主動向用戶提出新的問題。通常，聊天機器人都含有一個聊天知識庫以及對話控制模塊，聊天知識庫就像

2、聊天機器人的大腦，存儲著回復(fù)用戶輸入的聊天知識，而對話控制模塊則用于控制對話進程。一般而言，典型的聊天知識庫都由一系列的模板組成，模板用于匹配用戶的輸入并根據(jù)一定的規(guī)則產(chǎn)生相應(yīng)的機器人回復(fù)。但是目前用在聊天機器人中的模板，都是由人來手工構(gòu)建的，因此聊天知識庫的構(gòu)建是一件費時費力的工作，并且缺乏靈活性，由此導(dǎo)致這種人工書寫的方法在應(yīng)用到新的知識領(lǐng)域或者新語言時，困難重重，比如一旦聊天機器人的知識領(lǐng)域發(fā)生了變化，就需要重新構(gòu)建知識庫。

3、 本文提出并實現(xiàn)了一種新穎的聊天知識庫構(gòu)建方法，通過該方法，就能自動從在線論壇中抽取出形式為〈帖子標(biāo)題，回復(fù)〉對的聊天知識。使用該方法，就能快速、有效地為聊天機器人構(gòu)建某個領(lǐng)域的聊天知識。本文介紹的這種方法，是一種瀑布式模型(cascadedframework)，給定一個論壇，經(jīng)過以下步驟的處理，就能自動從中抽取出高質(zhì)量的〈帖子標(biāo)題，回復(fù)〉對。首先，通過使用一個基于回復(fù)和帖子標(biāo)題之間的各種關(guān)系(如結(jié)構(gòu)和內(nèi)容特征)的SVM分類器，將所有

4、和帖子標(biāo)題在邏輯上相關(guān)的回復(fù)抽取出來。接著，再根據(jù)回復(fù)的內(nèi)容質(zhì)量等特征對這些抽取出來的〈帖子標(biāo)題，回復(fù)〉對進行排序(采用的排序模型為rankingSVM)。最后，將排在前N的〈帖子標(biāo)題，回復(fù)〉對選用為聊天知識。通過在一個電影論壇中進行的相關(guān)實驗得到的結(jié)果表明，本文提出的自動抽取聊天知識的方法能快速、有效地構(gòu)建聊天知識庫。 本文的主要貢獻為：1.本文第一個提出了使用在線論壇為聊天機器人自動抽取聊天知識；2.本文設(shè)計并實現(xiàn)了一種瀑布