漢語口語對話系統(tǒng)的語言分析.pdf

1、自然語言處理已歷時幾十年了，熱潮莫過于機器翻譯。機器翻譯的熱潮過去后，語言處理逐漸進入平靜、現(xiàn)實的務(wù)實階段。近期人們將目標定在文本的自動分摘要、信息的自動檢索和過濾以及限定領(lǐng)域的人機對話系統(tǒng)等方面。本文介紹口語人機對話系統(tǒng)語言分析的研究。 語言處理中，實用性很強、高效的是統(tǒng)計方法。但基于規(guī)則的方法可以細致刻言內(nèi)在結(jié)構(gòu)的各個方面，如果能綜合運用情景、上下文和常識獲取語義特征，定領(lǐng)域的情況下，分析的準確率將會顯著提高。 本文

2、根據(jù)漢語口語缺省多、插入語多、短句多和語序靈活等語言特點，設(shè)計了以規(guī)則為主、結(jié)合概率信息的語言綜合分析方法。在漢語分詞和詞性標注的基基于合一文法利用圖算法進行部分句法分析，最后結(jié)合上下文、情景、常識率信息獲取語義特征。該方法有效提高了漢語口語對話系統(tǒng)語言分析的準確同時考慮了效率和領(lǐng)域切換等實用方面的問題。并實現(xiàn)了上海市交通信息查詢——SHJTQ，同時完成了相關(guān)的測試評價工作，從而確保了系統(tǒng)的正確性、有。 詞切分和詞性標注方面，本

3、文通過建立索引和采用合適的Hash算法，改進了詞組織形式，極大提高了分詞和詞性標注的效率。從而減少系統(tǒng)實時響應(yīng)時間。句法分析方面，本文根據(jù)漢語口語特點進行了如下改進和嘗試：(1)、采用部分分析而不是常規(guī)的完全句法分析，從而有效分析含有插入語、缺省、語序變化、多個短句等不規(guī)正語句；(2)、采用基于合一文法的語法體系，通過特征校驗限制句法規(guī)則歸約，減少句法分析的歧義；通過特征傳遞獲取短語的語義語法信息，以便進一步獲取整句的語義特征；(3)、

4、實現(xiàn)了特征和句法規(guī)則的預(yù)編譯，使得句法知識庫具有良好的開放性，減少了領(lǐng)域切換時所需工作量。 語義分析的難點在于如何處理缺省、指代、否定等復(fù)雜語言現(xiàn)象。本文從所限定的領(lǐng)域特點出發(fā)，嘗試給出一些實用的處理方法：(1)、采用合一算法根據(jù)上下文、情景求解缺省；(2)、采用史列表方法結(jié)合語法語義限制規(guī)則求解指代；(3)、將否定分為句間否定和句中否定，根據(jù)“否定候選集—對比刪除”流程確定否定詞的具體轄域。這些方法充分利用了上下文、情景和常識