統(tǒng)計語言模型平滑技術(shù)和壓縮技術(shù)的研究與實現(xiàn).pdf

1、隨著全社會信息化進程的迅速發(fā)展，使用計算機處理語言文字的重要性與緊迫性日益顯現(xiàn)出來，自然語言處理系統(tǒng)得到迅速發(fā)展。而目前根據(jù)計算機語言學(xué)經(jīng)驗主義的研究辦法得到的自然語言處理系統(tǒng)的核心就是統(tǒng)計語言模型。統(tǒng)計語言模型是利用統(tǒng)計的方法描述自然語言內(nèi)在規(guī)律的數(shù)學(xué)模型。
　　統(tǒng)計語言模型的發(fā)展目前面臨的兩個主要問題是數(shù)據(jù)稀疏問題和規(guī)模過大問題，為此模型建立以后要對模型進行平滑和壓縮。本論文主要針對目前正得到廣泛推廣與應(yīng)用的統(tǒng)計語言模型，研究

2、了模型的平滑技術(shù)和壓縮技術(shù)，重點研究了模型的壓縮技術(shù)。在介紹當(dāng)前已有的統(tǒng)計語言模型平滑技術(shù)和壓縮技術(shù)基礎(chǔ)上，本文針對 average-count平滑方法，提出了一種改進方法；針對基于相對熵的剪枝方法優(yōu)化了其計算方法；針對分組方法提出了一種基于方差的分組方法，然后將改進后的基于相對熵的剪枝方法和基于方差的分組方法相結(jié)合，作為本文最終的壓縮方法。
　　論文的最后通過統(tǒng)計語言模型性能測試實驗平臺來測試本文提出的這些改進技術(shù)的性能，平臺通