非時(shí)齊語(yǔ)言建模技術(shù)研究及實(shí)踐.pdf

1、語(yǔ)言模型是自然語(yǔ)言的數(shù)學(xué)描述，是人們?yōu)榱私忉?、利用自然語(yǔ)言規(guī)律而構(gòu)建的抽象的形式化系統(tǒng)。語(yǔ)言模型的研究是自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)性研究，其研究成果可以被直接地應(yīng)用到漢語(yǔ)音字轉(zhuǎn)換任務(wù)中，并且能夠被廣泛地應(yīng)用在語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別、印刷品字符識(shí)別、機(jī)器翻譯、信息檢索、語(yǔ)料庫(kù)多級(jí)加工等眾多的自然語(yǔ)言應(yīng)用領(lǐng)域當(dāng)中。
　　當(dāng)前，隨著網(wǎng)絡(luò)信息的飛速增長(zhǎng)，海量電子文本的獲得已不再困難，概率統(tǒng)計(jì)的方法以其準(zhǔn)確率高、魯棒性強(qiáng)等優(yōu)點(diǎn)成為語(yǔ)言建模領(lǐng)域的主

2、要方法。統(tǒng)計(jì)語(yǔ)言模型成為當(dāng)前的主流語(yǔ)言模型。然而，統(tǒng)計(jì)語(yǔ)言模型單純從統(tǒng)計(jì)角度出發(fā)，將自然語(yǔ)言看作是語(yǔ)言元素的隨機(jī)序列，而忽略了語(yǔ)言本身的規(guī)律和特點(diǎn)。如何在統(tǒng)計(jì)語(yǔ)言模型中利用語(yǔ)言學(xué)知識(shí)成為當(dāng)前語(yǔ)言建模領(lǐng)域面臨的難題之一。目前，將語(yǔ)言學(xué)知識(shí)直接與統(tǒng)計(jì)語(yǔ)言建模技術(shù)相結(jié)合面臨如下困難：1.語(yǔ)言學(xué)知識(shí)難以精確地自動(dòng)獲得；2.語(yǔ)言學(xué)知識(shí)難以與現(xiàn)有的統(tǒng)計(jì)建模技術(shù)相融合。
　　針對(duì)上述問(wèn)題，本文提出通過(guò)研究語(yǔ)言單位在自然語(yǔ)言序列中的位置信息和規(guī)律

3、來(lái)間接地反映自然語(yǔ)言的語(yǔ)法語(yǔ)義信息。語(yǔ)言單位因其語(yǔ)法語(yǔ)義屬性不同，其可以充當(dāng)?shù)恼Z(yǔ)言成分不同，在句子以及篇章中所起到的作用也不相同，它在自然語(yǔ)言文本中出現(xiàn)的位置和范圍具有一定的規(guī)律性。這種規(guī)律是自然語(yǔ)言語(yǔ)法語(yǔ)義規(guī)律的體現(xiàn)。針對(duì)上述規(guī)律，本文在隨機(jī)過(guò)程理論的基礎(chǔ)上擴(kuò)展了時(shí)齊性假設(shè)，提出非時(shí)齊語(yǔ)言建模假設(shè)，即假設(shè)當(dāng)前語(yǔ)言單位的出現(xiàn)概率與它在自然語(yǔ)言序列中的位置相關(guān)。在此基礎(chǔ)上，本文分別對(duì)非時(shí)齊語(yǔ)言建模的理論、技術(shù)、方法和相關(guān)問(wèn)題進(jìn)行研究，并將

4、其應(yīng)用到漢語(yǔ)音字轉(zhuǎn)換任務(wù)中，從而提高漢語(yǔ)鍵盤(pán)輸入系統(tǒng)的性能。本文的研究?jī)?nèi)容主要包含以下四個(gè)方面：
　　第一，本文進(jìn)行語(yǔ)言建模研究的資源準(zhǔn)備工作，提出一種面向漢語(yǔ)語(yǔ)言建模的詞表自動(dòng)生成算法。本文首先將詞表自動(dòng)生成工作同漢語(yǔ)語(yǔ)言建模工作相結(jié)合，設(shè)計(jì)一種一體化迭代算法框架，通過(guò)建立優(yōu)化詞表的方式來(lái)提高現(xiàn)有語(yǔ)言模型的性能。在該框架下，本文采用統(tǒng)計(jì)特征與構(gòu)詞特征相結(jié)合的詞表生成策略，以提高詞表生成算法的性能。最后，本文提出兩種啟發(fā)式方法使系

5、統(tǒng)自動(dòng)適應(yīng)訓(xùn)練語(yǔ)料的領(lǐng)域，從而使系統(tǒng)具有自適應(yīng)性。
　　第二，本文進(jìn)行非時(shí)齊語(yǔ)言建模的理論與方法研究。首先，本文討論了語(yǔ)言單位非時(shí)齊屬性的量化表示方法，并在此基礎(chǔ)上分析了語(yǔ)言單位非時(shí)齊屬性的統(tǒng)計(jì)規(guī)律。接下來(lái)，本文將非時(shí)齊屬性規(guī)律與現(xiàn)有的語(yǔ)言建模技術(shù)相結(jié)合，分別提出非時(shí)齊Ngram模型和非時(shí)齊最大熵馬爾科夫模型，并討論了模型構(gòu)建、訓(xùn)練方法、參數(shù)平滑和模型復(fù)雜度等問(wèn)題。最后，本文分別在音字轉(zhuǎn)換和詞性標(biāo)注任務(wù)中對(duì)以上兩種模型進(jìn)行驗(yàn)證。<

6、br>　　第三，針對(duì)語(yǔ)言模型中的數(shù)據(jù)稀疏問(wèn)題，本文提出基于語(yǔ)義的平滑算法。本文從Hownet和同義詞詞林等語(yǔ)言學(xué)資源中提取漢語(yǔ)語(yǔ)義信息，將其分別與回退平滑和插值平滑技術(shù)相結(jié)合，設(shè)計(jì)基于語(yǔ)義的回退和插值平滑算法，從而提高平滑后語(yǔ)言模型的性能。并且，本文設(shè)計(jì)基于迭代的參數(shù)優(yōu)化方法，自動(dòng)優(yōu)化平滑算法中的各項(xiàng)參數(shù)。
　　第四，本文將語(yǔ)言建模技術(shù)應(yīng)用到漢語(yǔ)鍵盤(pán)輸入任務(wù)中。首先，針對(duì)手機(jī)等移動(dòng)設(shè)備上的拼音漢字輸入法，本文提出鍵音轉(zhuǎn)換問(wèn)題，同時(shí)