漢字種子混淆集的構(gòu)建方法研究.pdf

1、漢字種子混淆集技術(shù)的研究一直是中文文本自動校對技術(shù)的一個重要的基礎(chǔ)性課題，也是一個瓶頸問題，它對中文文本自動校對技術(shù)的發(fā)展有巨大的推動作用。本文對漢字種子混淆集領(lǐng)域涉及到的主要技術(shù)進(jìn)行了比較全面和仔細(xì)的研究，包括漢字種子在中文文本中出現(xiàn)的錯誤類型、大數(shù)據(jù)詞典的存儲方式、中文文本分詞算法、混淆集的排序。
　　本文從一個新的角度對漢字混淆集進(jìn)行了研究，通過錯別字出現(xiàn)的各種類型來人工創(chuàng)建11935個漢字可能的錯別字；以這些漢字為節(jié)點，“

2、可錯成”的關(guān)系為邊，將混淆集構(gòu)造成一個錯別字混淆集圖；在錯別字混淆集圖的基礎(chǔ)上，設(shè)計了自擴(kuò)展算法來發(fā)現(xiàn)內(nèi)部規(guī)則進(jìn)行補(bǔ)充和驗證錯別字混淆集；通過外部大數(shù)據(jù)來開源補(bǔ)充混淆集，發(fā)現(xiàn)新的錯別字對，并對每個種子漢字的混淆集進(jìn)行了排序，最終構(gòu)建一個種子漢字混淆集字典。根據(jù)實驗，經(jīng)過隨機(jī)抽樣校對，準(zhǔn)確率達(dá)到87.35％。
　　本文的主要貢獻(xiàn)如下：
　　首先，對中文文本中出現(xiàn)的錯別字形式進(jìn)行了廣泛而深入的研究，通過對大批量的文本進(jìn)行發(fā)現(xiàn)，整

3、理出中文文本錯別字出現(xiàn)的錯誤類型，包括音似、形似、相鄰鍵位擊鍵錯誤、拼音相同詞組誤選等文本的錯誤形式，并對其進(jìn)行分析，并提出解決的方法。
　　其次，對漢字種子的錯別字混淆集從一個嶄新的角度對其進(jìn)行自動添加，提出了錯別字混淆集圖的概念，并通過對錯別字圖的研究，發(fā)現(xiàn)規(guī)則對其補(bǔ)充。
　　再次，進(jìn)一步通過大數(shù)據(jù)對混淆集進(jìn)行自動補(bǔ)充，最終形成一部種子漢字混淆集字典。
　　最后，通過錯別字的字頻和形相似度對錯別字混淆集進(jìn)行排序，對