中文文本編輯錯(cuò)誤記憶校對(duì)方法研究.pdf

1、信息化社會(huì)的一個(gè)主要特點(diǎn)就是高速、海量、多種信息的傳遞，在這些海量的信息里充斥著大量的錯(cuò)誤，嚴(yán)重影響了信息傳輸?shù)馁|(zhì)量和效率。
　　借鑒已有研究成果的基礎(chǔ)，本文對(duì)于深入研究了中文文本編輯錯(cuò)誤的檢測(cè)和校對(duì)方法，詳細(xì)闡述了文本編輯錯(cuò)誤檢測(cè)和校對(duì)的關(guān)鍵問(wèn)題、解決方案、算法設(shè)計(jì)原理等方面。中文文本編輯錯(cuò)誤檢測(cè)和校對(duì)模型分為檢測(cè)錯(cuò)誤與改正錯(cuò)誤兩部分，理論分析與實(shí)驗(yàn)表明，二者分開(kāi)有助于解決錯(cuò)誤檢測(cè)和校對(duì)目標(biāo)中的兩個(gè)關(guān)鍵問(wèn)題，一是混淆集大小與統(tǒng)計(jì)

2、語(yǔ)言模型的時(shí)空復(fù)雜性之間的矛盾，二是訓(xùn)練預(yù)料規(guī)模造成的數(shù)據(jù)稀疏現(xiàn)象與文本錯(cuò)誤造成的數(shù)據(jù)稀疏假象。
　　在文本編輯錯(cuò)誤的檢測(cè)方面，結(jié)合前人已有的一些研究成果，在詳盡分析中文文本校對(duì)任務(wù)所面臨的數(shù)據(jù)稀疏問(wèn)題的特殊性進(jìn)行的基礎(chǔ)上，提出了解決數(shù)據(jù)稀疏的三種數(shù)據(jù)平滑策略，即文本窗口縮小、平滑延后和聚類(lèi)詞。提出了一種前后N文字法文本窗口的自動(dòng)檢測(cè)方案，在對(duì)待檢測(cè)字符特性分析的基礎(chǔ)上，立足于它的局部本文語(yǔ)境意義，考慮前項(xiàng)概率和后項(xiàng)概率，結(jié)合三種

3、數(shù)據(jù)平滑策略的優(yōu)勢(shì)，較好地解決了模型執(zhí)行的時(shí)間復(fù)雜度和空間復(fù)雜度問(wèn)題。實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證，前后N文字法的檢測(cè)機(jī)制在錯(cuò)誤報(bào)告率，漏報(bào)率等指標(biāo)上表現(xiàn)更優(yōu)。
　　在文本編輯錯(cuò)誤的改正方面，介紹了最小編輯距離的概念，解釋了易混淆集的作用，采用為易混淆集中的不同字符賦予不同的權(quán)重的策略，由改正錯(cuò)誤模型從中篩選出權(quán)重較大的，作為使改正建議的正確字符。最后進(jìn)行了實(shí)驗(yàn)驗(yàn)證比較，與黑馬文本校對(duì)系統(tǒng)和基于Eric Mays平均分配權(quán)重思想的校對(duì)模型相比，字