普通話自由表述口語評測關鍵技術的研究.pdf

1、口語評測是一種學生按照某種要求發(fā)音，計算機根據學生發(fā)音的標準程度來自動評分的技術。傳統(tǒng)的文本相關評測任務要求學生嚴格依照指定的文本發(fā)音，對應朗讀或者嚴格背誦的情境，通常采用幀規(guī)整對數后驗概率作為衡量發(fā)音標準程度最主要的特征，該特征與人工分具有較高的相關度，此技術也已經有了廣泛而成功的應用。但在文本無關情境下，比如要求考生在給定主題約束下，針對該主題進行一段自由表述，通過衡量發(fā)音的標準程度和詞匯語法使用規(guī)范程度來評分，這種任務無論國內還是

2、國際上都鮮有研究;本文嘗試對此展開初步的研究工作。具體的，是針對國內普通話水平測試(Putonghua Shuiping Ceshi，PSC)的第4題進行自動評分的研究。該題要求考生在3分鐘內進行一段給定主題的自由表述，與本文的研究非常契合。本文的主要研究工作概述如下:
　　首先，本文探究了如何采用識別的方法，對文本無關口語評測計算類似于文本相關任務中常用的后驗概率特征，以此來評估發(fā)音的標準程度。具體的，利用DNN-HMM的語音識

3、別模型對考生表述的語音做識別，再在此框架下計算解碼中的每個音素相對于發(fā)音矢量的后驗概率，并針對PSC考試第4題的具體情境進行了改進。實驗表明，該后驗概率與人工分具有較高的相關度。
　　其次，由于本論文后驗概率特征計算的過程非常依賴于識別的性能，為了提升識別器的準確率，采用遞歸神經網絡(Recurrent Neural Network, RNN)語言模型來對一遍解碼出的N-best候選做語言模型得分重估計(Rescoring)，選取

4、Rescoring后得分最大的候選句子作為新的識別結果;實驗結果發(fā)現(xiàn)，這樣修正后無論是識別率還是后驗概率特征與人工分的相關度，都有一定的提升。
　　再者，為了衡量考生表述語音中的方言口音程度，本論文借鑒多語種-神經網絡(Multi-lingual Neural Network)的方法，在解碼神經網絡的輸出引入額外的方言數據狀態(tài)節(jié)點，獲得每一幀數據相對于方言數據模型的似然度得分，從而在后驗概率計算公式的分母上引入方言得分，初步估計發(fā)

5、音的方言程度。
　　然后，為了關注表述的流暢程度，本論文采用每句話的音素平均發(fā)音幀數來計算語速特征，以此初步估計流暢程度。另外，嘗試使用條件隨機場(ConditionalRandom Field，CRF)訓練分句模型，從內容上對識別結果進行句子邊界判斷。實驗表明，重新分句后計算的語速特征與人工分具有更高的相關度。
　　最后，使用矢量空間模型(Vector Space Model，VSM)對識別結果建模，從內容上評估表述的詞匯