基于機(jī)器翻譯模型的漢語(yǔ)近音錯(cuò)別字校對(duì)方法研究.pdf

1、伴隨人們使用網(wǎng)絡(luò)的頻繁，海量的用戶生成文本由此產(chǎn)生，而用戶生成文本不同于正規(guī)的新聞文本，其可能產(chǎn)生大量的如錯(cuò)別字等非標(biāo)準(zhǔn)的表達(dá)形式。處理非標(biāo)準(zhǔn)文本不僅可以使行文流暢便于閱讀，同時(shí)也可以為后續(xù)文本處理工作打下良好的理論基礎(chǔ)和應(yīng)用基礎(chǔ)?，F(xiàn)如今大多數(shù)人都采用拼音輸入法進(jìn)行拼寫，從而帶來(lái)大量的近音錯(cuò)別字，因此本文將對(duì)漢語(yǔ)近音錯(cuò)別字進(jìn)行深入探究。
　　本文分別采用統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯兩種方法對(duì)近音錯(cuò)別字展開研究，具體地，本文將從

2、以下三個(gè)方面進(jìn)行研究:
　　(1)基于漢字-拼音-漢字轉(zhuǎn)換的近音錯(cuò)別字語(yǔ)料庫(kù)構(gòu)造:用戶生成文本中有大量的音近錯(cuò)別字，但是欲將錯(cuò)別字全部提取出來(lái)，不僅花費(fèi)大量的時(shí)間，而且需要大量的人力，因此本文采用自動(dòng)構(gòu)造近音錯(cuò)別字語(yǔ)料庫(kù)的方式以解決此問(wèn)題。本文主要采用模擬正字輸入成錯(cuò)字的過(guò)程進(jìn)行錯(cuò)字的正字構(gòu)造，通過(guò)正字-拼音-模糊拼音-錯(cuò)字的方式，并加入神經(jīng)網(wǎng)絡(luò)最大熵模型過(guò)濾的方法實(shí)現(xiàn)近音錯(cuò)別字語(yǔ)料庫(kù)的構(gòu)造。
　　(2)基于統(tǒng)計(jì)機(jī)器翻譯模型

3、的近音錯(cuò)別字校對(duì):本文將錯(cuò)字轉(zhuǎn)為正字看成是從錯(cuò)字翻譯成正字的翻譯問(wèn)題，本文利用前文構(gòu)造的近音錯(cuò)別字語(yǔ)料庫(kù)作為統(tǒng)計(jì)機(jī)器翻譯的平行語(yǔ)料，進(jìn)而生成語(yǔ)言模型和翻譯模型，以達(dá)到對(duì)近音錯(cuò)別字進(jìn)行校對(duì)的目的。實(shí)驗(yàn)結(jié)果表明統(tǒng)計(jì)機(jī)器翻譯模型用于近音錯(cuò)別字校對(duì)問(wèn)題的有效性以及融入模糊拼音和神經(jīng)網(wǎng)絡(luò)最大熵模型構(gòu)造出來(lái)的語(yǔ)料庫(kù)對(duì)于統(tǒng)計(jì)機(jī)器翻譯校對(duì)近音錯(cuò)別字的效果更好。
　　(3)基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯近音錯(cuò)別字校對(duì):本文采用兩種策略分別進(jìn)行漢語(yǔ)近音錯(cuò)別字