統(tǒng)計(jì)和規(guī)則相結(jié)合的語(yǔ)言模型在中文輸入法中的應(yīng)用研究.pdf

1、隨著計(jì)算機(jī)與互聯(lián)網(wǎng)的廣泛普及，語(yǔ)言信息處理的社會(huì)需求日益增大，人們迫切需要用自動(dòng)化的手段處理海量的語(yǔ)言信息。在這種情形下，作為智能化人機(jī)接口重要組成部分的漢字鍵盤(pán)輸入技術(shù)成為中文信息處理的研究熱點(diǎn)之一。 在漢字鍵盤(pán)輸入法研究中，統(tǒng)計(jì)語(yǔ)言模型因其魯棒性強(qiáng)、簡(jiǎn)潔、易實(shí)現(xiàn)等特點(diǎn)而得到廣泛應(yīng)用。但統(tǒng)計(jì)語(yǔ)言模型本身存在數(shù)據(jù)稀疏性、領(lǐng)域依賴(lài)性、規(guī)模過(guò)大以及解碼速度慢等問(wèn)題。同時(shí)，單純基于統(tǒng)計(jì)的語(yǔ)言模型較少地考慮詞義、語(yǔ)義、上下文關(guān)系等語(yǔ)言規(guī)

2、則，造成模型應(yīng)用結(jié)果不合理，影響了輸入法的性能。 針對(duì)以上問(wèn)題，本文研究了統(tǒng)計(jì)和規(guī)則相結(jié)合的語(yǔ)言模型，并將其應(yīng)用于輸入法。 在語(yǔ)言模型平滑和壓縮方面，本文采用基于圖靈估計(jì)的減值法和Katz法結(jié)合的方法對(duì)模型進(jìn)行平滑，采用基于單元重要性的方法縮小模型規(guī)模； 在語(yǔ)言規(guī)則提取方面，本文基于語(yǔ)義場(chǎng)來(lái)提取詞網(wǎng)中詞類(lèi)特定的搭配規(guī)則； 在語(yǔ)言模型領(lǐng)域依賴(lài)方面，本文采用基礎(chǔ)語(yǔ)言模型和用戶(hù)模型相結(jié)合的方法來(lái)實(shí)現(xiàn)語(yǔ)言模型的自