漢語中介語文本詞語級錯誤的自動查錯研究及其實現(xiàn)——AECIT.pdf

1、隨著現(xiàn)代出版事業(yè)的不斷擴大，人工校對的工作量日益增大，產(chǎn)生了機器自動校對的需求。自動校對是自然語言處理的一個重要的研究領域，它的目的主要是在出版行業(yè)中減輕校對人員的工作量。中文文本自動校對較英文文本自動校對而言有許多先天性的困難，如分詞、詞性標記等。 中介語文本由于它的特殊性，無論是從錯誤產(chǎn)生原因還是錯誤表現(xiàn)形式都呈現(xiàn)出較普通文本未有的復雜?，F(xiàn)有的自動校對系統(tǒng)是面向普通的中文文本，它處理的是母語為漢語的人士所寫成的中文文本，它們

2、所使用的訓練語料和測試語料是同質的。本文研究的對象是母語為非漢語的人士寫成的中文中介語文本。二者相比較而言，后者較前者在研究、處理上多了很多困難，如：訓練語料和測試語料不同質，錯誤種類繁多，難以進行分類等。本文使用了新疆大學預科部少數(shù)民族中介語語料庫，隨機抽取了2063個存在錯誤的句子，以查找句子中的錯誤點為目標，構造了漢語中介語自動查錯系統(tǒng)AECIT，采用窗口移動的方式，一次讀取一個三元詞串，以二元詞的互信息為基本統(tǒng)計手段，結合詞性和