

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、語(yǔ)言模型是自然語(yǔ)言的數(shù)學(xué)描述,是人們?yōu)榱私忉?、利用自然語(yǔ)言規(guī)律而構(gòu)建的抽象的形式化系統(tǒng)。語(yǔ)言模型的研究是自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)性研究,其研究成果可以被直接地應(yīng)用到漢語(yǔ)音字轉(zhuǎn)換任務(wù)中,并且能夠被廣泛地應(yīng)用在語(yǔ)音識(shí)別、手寫(xiě)體識(shí)別、印刷品字符識(shí)別、機(jī)器翻譯、信息檢索、語(yǔ)料庫(kù)多級(jí)加工等眾多的自然語(yǔ)言應(yīng)用領(lǐng)域當(dāng)中。
當(dāng)前,隨著網(wǎng)絡(luò)信息的飛速增長(zhǎng),海量電子文本的獲得已不再困難,概率統(tǒng)計(jì)的方法以其準(zhǔn)確率高、魯棒性強(qiáng)等優(yōu)點(diǎn)成為語(yǔ)言建模領(lǐng)域的主
2、要方法。統(tǒng)計(jì)語(yǔ)言模型成為當(dāng)前的主流語(yǔ)言模型。然而,統(tǒng)計(jì)語(yǔ)言模型單純從統(tǒng)計(jì)角度出發(fā),將自然語(yǔ)言看作是語(yǔ)言元素的隨機(jī)序列,而忽略了語(yǔ)言本身的規(guī)律和特點(diǎn)。如何在統(tǒng)計(jì)語(yǔ)言模型中利用語(yǔ)言學(xué)知識(shí)成為當(dāng)前語(yǔ)言建模領(lǐng)域面臨的難題之一。目前,將語(yǔ)言學(xué)知識(shí)直接與統(tǒng)計(jì)語(yǔ)言建模技術(shù)相結(jié)合面臨如下困難:1.語(yǔ)言學(xué)知識(shí)難以精確地自動(dòng)獲得;2.語(yǔ)言學(xué)知識(shí)難以與現(xiàn)有的統(tǒng)計(jì)建模技術(shù)相融合。
針對(duì)上述問(wèn)題,本文提出通過(guò)研究語(yǔ)言單位在自然語(yǔ)言序列中的位置信息和規(guī)律
3、來(lái)間接地反映自然語(yǔ)言的語(yǔ)法語(yǔ)義信息。語(yǔ)言單位因其語(yǔ)法語(yǔ)義屬性不同,其可以充當(dāng)?shù)恼Z(yǔ)言成分不同,在句子以及篇章中所起到的作用也不相同,它在自然語(yǔ)言文本中出現(xiàn)的位置和范圍具有一定的規(guī)律性。這種規(guī)律是自然語(yǔ)言語(yǔ)法語(yǔ)義規(guī)律的體現(xiàn)。針對(duì)上述規(guī)律,本文在隨機(jī)過(guò)程理論的基礎(chǔ)上擴(kuò)展了時(shí)齊性假設(shè),提出非時(shí)齊語(yǔ)言建模假設(shè),即假設(shè)當(dāng)前語(yǔ)言單位的出現(xiàn)概率與它在自然語(yǔ)言序列中的位置相關(guān)。在此基礎(chǔ)上,本文分別對(duì)非時(shí)齊語(yǔ)言建模的理論、技術(shù)、方法和相關(guān)問(wèn)題進(jìn)行研究,并將
4、其應(yīng)用到漢語(yǔ)音字轉(zhuǎn)換任務(wù)中,從而提高漢語(yǔ)鍵盤(pán)輸入系統(tǒng)的性能。本文的研究?jī)?nèi)容主要包含以下四個(gè)方面:
第一,本文進(jìn)行語(yǔ)言建模研究的資源準(zhǔn)備工作,提出一種面向漢語(yǔ)語(yǔ)言建模的詞表自動(dòng)生成算法。本文首先將詞表自動(dòng)生成工作同漢語(yǔ)語(yǔ)言建模工作相結(jié)合,設(shè)計(jì)一種一體化迭代算法框架,通過(guò)建立優(yōu)化詞表的方式來(lái)提高現(xiàn)有語(yǔ)言模型的性能。在該框架下,本文采用統(tǒng)計(jì)特征與構(gòu)詞特征相結(jié)合的詞表生成策略,以提高詞表生成算法的性能。最后,本文提出兩種啟發(fā)式方法使系
5、統(tǒng)自動(dòng)適應(yīng)訓(xùn)練語(yǔ)料的領(lǐng)域,從而使系統(tǒng)具有自適應(yīng)性。
第二,本文進(jìn)行非時(shí)齊語(yǔ)言建模的理論與方法研究。首先,本文討論了語(yǔ)言單位非時(shí)齊屬性的量化表示方法,并在此基礎(chǔ)上分析了語(yǔ)言單位非時(shí)齊屬性的統(tǒng)計(jì)規(guī)律。接下來(lái),本文將非時(shí)齊屬性規(guī)律與現(xiàn)有的語(yǔ)言建模技術(shù)相結(jié)合,分別提出非時(shí)齊Ngram模型和非時(shí)齊最大熵馬爾科夫模型,并討論了模型構(gòu)建、訓(xùn)練方法、參數(shù)平滑和模型復(fù)雜度等問(wèn)題。最后,本文分別在音字轉(zhuǎn)換和詞性標(biāo)注任務(wù)中對(duì)以上兩種模型進(jìn)行驗(yàn)證。<
6、br> 第三,針對(duì)語(yǔ)言模型中的數(shù)據(jù)稀疏問(wèn)題,本文提出基于語(yǔ)義的平滑算法。本文從Hownet和同義詞詞林等語(yǔ)言學(xué)資源中提取漢語(yǔ)語(yǔ)義信息,將其分別與回退平滑和插值平滑技術(shù)相結(jié)合,設(shè)計(jì)基于語(yǔ)義的回退和插值平滑算法,從而提高平滑后語(yǔ)言模型的性能。并且,本文設(shè)計(jì)基于迭代的參數(shù)優(yōu)化方法,自動(dòng)優(yōu)化平滑算法中的各項(xiàng)參數(shù)。
第四,本文將語(yǔ)言建模技術(shù)應(yīng)用到漢語(yǔ)鍵盤(pán)輸入任務(wù)中。首先,針對(duì)手機(jī)等移動(dòng)設(shè)備上的拼音漢字輸入法,本文提出鍵音轉(zhuǎn)換問(wèn)題,同時(shí)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- GPS信號(hào)建模及空時(shí)抗干擾技術(shù)研究.pdf
- 非平穩(wěn)信號(hào)時(shí)頻分析技術(shù)研究.pdf
- 車(chē)身覆蓋件產(chǎn)品及工藝建模技術(shù)研究與實(shí)踐.pdf
- 非時(shí)齊Markov鏈的收斂性.pdf
- 寬帶非平穩(wěn)干擾信號(hào)的時(shí)頻分析及抑制技術(shù)研究.pdf
- 含時(shí)滯因素的灰色預(yù)測(cè)建模技術(shù)研究.pdf
- 電路故障建模及診斷技術(shù)研究.pdf
- SiGe HBT建模及模擬技術(shù)研究.pdf
- EPON技術(shù)研究及實(shí)踐應(yīng)用.pdf
- 超準(zhǔn)正交非滿(mǎn)速率空時(shí)編碼技術(shù)研究.pdf
- 空時(shí)編碼及相關(guān)技術(shù)研究.pdf
- 潛艇運(yùn)動(dòng)建模及簡(jiǎn)化技術(shù)研究.pdf
- RFID攻擊建模及安全技術(shù)研究.pdf
- 破碎流程建模及優(yōu)化技術(shù)研究.pdf
- 數(shù)控仿真建模及實(shí)現(xiàn)技術(shù)研究.pdf
- InP HEMT器件建模及PDK技術(shù)研究.pdf
- 實(shí)時(shí)水面建模及繪制技術(shù)研究.pdf
- EPON技術(shù)研究及工程實(shí)踐.pdf
- 快時(shí)變MIMO OFDM信道建模分析與信道估計(jì)技術(shù)研究.pdf
- 軟件過(guò)程建模技術(shù)研究.pdf
評(píng)論
0/150
提交評(píng)論