基于統(tǒng)計的蒙古文自動詞性標注的研究與實現.pdf

1、隨著計算機技術，特別是網絡技術的迅速發(fā)展和普及，人們越來越迫切地希望用自然語言與計算機交流。因此自然語言信息處理得到了前所未有的重視，受到了國內外許多研究者的關注。詞性標注是自然語言信息處理的基礎，詞性標注的準確率直接影響到后續(xù)的研究。目前關于漢語自動詞性標注方面一些人士做了許多相關研究，并取得了一定的成果。而有關蒙古文自動詞性標注方面的研究還欠缺。
　　 本文主要研究并實現了基于統(tǒng)計的蒙古文自動詞性標注系統(tǒng)。該系統(tǒng)通過隱馬爾可

2、夫模型對訓練語料庫進行訓練，獲得兩種重要的模型參數，即詞性轉移概率矩陣和詞匯概率分布矩陣。得到模型參數之后采用VITERBI算法進行自動詞性標注。本文采用了詞語切分和線性插值法解決了隱馬爾可夫模型的數據稀疏問題，從而在一定程度上避免了由于數據稀疏而導致的自動詞性標注準確率下降問題。
　　 最后本文對該系統(tǒng)對蒙古文進行切分之前和切分之后的自動詞性標注分別作了以下的實驗。先在不同規(guī)模的語料下分別做了一級封閉測試和一級開放測試。然后當