大學英語短文單詞語法錯誤糾錯模型研究.pdf

1、自然語言處理技術(shù)是研究和實現(xiàn)人與計算機之間用自然語言進行有效溝通的理論和方法。近年來,隨著計算機科學技術(shù)的發(fā)展和統(tǒng)計學習方法的有效應(yīng)用,它已經(jīng)成為人工智能和語義搜索領(lǐng)域的重要研究方向。對于英語文本的信息處理,如果其中的語義單元(單詞與句子)存在錯誤,則不可避免的會影響到后續(xù)文本分析和語義理解,并最終降低實際應(yīng)用系統(tǒng)的整體性能。因此,對英語文本中的單詞與語法錯誤進行智能檢錯與糾錯是自然語言處理的重點和難點之一。
　　本文主要以大學英

2、語短文作為研究對象,分析了其中存在的單詞拼寫錯誤和語法錯誤現(xiàn)象,對智能糾錯中涉及到的數(shù)學統(tǒng)計模型和技術(shù)方案進行了深入的探討,并通過權(quán)衡不同技術(shù)路線中的優(yōu)缺點和實際開發(fā)的難度,實現(xiàn)了對大學英語短文中存在的單詞和語法錯誤進行智能糾錯。
　　本文的研究成果主要體現(xiàn)在以下兩個方面:
　　1.對于單詞拼寫的檢查與糾正,研究了非詞錯誤中字母間的插入、丟失、替換和互換四種錯誤類型。重點解決了由于單詞發(fā)音混淆導(dǎo)致的非詞錯誤和詞形多樣化(如英

3、文縮寫、帶連字符的復(fù)合詞和專有名詞等)帶來的糾錯問題。另外,對于真詞錯誤,通過機器學習的方法提取語料庫中的上下文語義特征,訓(xùn)練出真詞糾正模型,并利用非詞檢查中的候選推薦信息,提出了基于推薦候選列表的最優(yōu)組合預(yù)測算法,實驗表明,該策略應(yīng)用于上下文存在拼寫錯誤的真詞錯誤糾正的精確率達到83.78％。
　　2.對于句子語法的檢查與糾正,以文本訓(xùn)練集中的上下文信息為基礎(chǔ),結(jié)合了基于語法規(guī)則和基于統(tǒng)計模型的優(yōu)點,對中國學生英語短文中主要存在