基于詞典、規(guī)則與統(tǒng)計(jì)的蒙古文詞切分系統(tǒng)的研究.pdf

1、蒙古文是我國(guó)重要的少數(shù)民族語(yǔ)言文字之一。蒙古文信息處理技術(shù)的發(fā)展對(duì)蒙古族聚居區(qū)的政治、文化、生活的發(fā)展具有重要意義。
　　 蒙古文詞切分系統(tǒng)是蒙古文信息處理眾多后續(xù)工作的基礎(chǔ)。本文首次嘗試了在傳統(tǒng)蒙古文上進(jìn)行詞切分,也首次嘗試了將詞典、規(guī)則與統(tǒng)計(jì)方法結(jié)合。
　　 本研究中,我們整理和校對(duì)了很多蒙古文語(yǔ)料及文檔。這些資料可作為蒙古文信息處理后續(xù)工作的基礎(chǔ)性資料。我們研究的蒙古文詞切分系統(tǒng)得到了理想的詞切分效率。本文提出的蒙

2、古文詞切分測(cè)試平臺(tái),給出了統(tǒng)一的傳統(tǒng)蒙古文詞切分測(cè)試平臺(tái)。
　　 本文深入研究了蒙古文的語(yǔ)法和特點(diǎn),并提出了改進(jìn)的層次化語(yǔ)言模型。該模型不僅考慮了語(yǔ)境關(guān)系,也強(qiáng)調(diào)了詞內(nèi)各成分的高耦合度。
　　 我們的詞切分系統(tǒng),首先預(yù)處理了部分蒙古文詞。然后基于詞典切分了大部分蒙古文詞。最后對(duì)于剩余的蒙古文詞,先用蒙古文的各種規(guī)則生成了多個(gè)候選集,再用改進(jìn)的層次化蒙古文語(yǔ)言模型來(lái)選擇正確的候選的詞切分方案。通過(guò)三種方法的有機(jī)結(jié)合,發(fā)揮各