基于Kinect的特定說(shuō)話(huà)人跟蹤系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、說(shuō)話(huà)人跟蹤在視頻會(huì)議、多媒體系統(tǒng)、智能監(jiān)控、人機(jī)交互、機(jī)器人等領(lǐng)域具有重要的研究意義和廣泛的應(yīng)用價(jià)值。聲源定位技術(shù)常被用來(lái)作為說(shuō)話(huà)人跟蹤的基本手段，然而聲源定位技術(shù)容易受到混響、噪聲的影響，并且當(dāng)環(huán)境中存在多個(gè)說(shuō)話(huà)人時(shí)會(huì)使說(shuō)話(huà)人跟蹤產(chǎn)生偏差。Kinect由四個(gè)麥克風(fēng)組成的直線(xiàn)型陣列能夠有效抑制噪聲和消除回音，本學(xué)位論文利用Kinect傳感器接收和處理說(shuō)話(huà)人的語(yǔ)音信號(hào)，采用基于波束形成算法實(shí)現(xiàn)說(shuō)話(huà)人跟蹤。多說(shuō)話(huà)人的環(huán)境下，加入說(shuō)話(huà)人的聲紋

2、特征，對(duì)特定說(shuō)話(huà)人的身份進(jìn)行仔細(xì)確認(rèn)后，再實(shí)現(xiàn)實(shí)時(shí)跟蹤。
　　首先，針對(duì)多說(shuō)話(huà)人環(huán)境，選用基于高斯混合模型-通用背景模型(Gaussianmixture model-Universal Background Model，GMM-UBM)的說(shuō)話(huà)人確認(rèn)方法對(duì)說(shuō)話(huà)人進(jìn)行身份認(rèn)證。該方法先提取出模仿人耳聽(tīng)覺(jué)特性的聲紋特征參數(shù)—梅爾倒譜系數(shù)(Mel Frequency Cepstral Coefficients，MFCC)，然后將GMM-U

3、BM模型作為說(shuō)話(huà)人確認(rèn)的訓(xùn)練模型，測(cè)試階段將測(cè)試語(yǔ)音與訓(xùn)練得到的說(shuō)話(huà)人模型進(jìn)行匹配，匹配得分與預(yù)先設(shè)置的閾值進(jìn)行比較，最終給出判斷結(jié)果。
　　其次，采用自適應(yīng)波束形成算法實(shí)現(xiàn)聲源的定位，解決了Kinect麥克風(fēng)陣元較少情況下的說(shuō)話(huà)人聲源定位問(wèn)題。
　　最后，設(shè)計(jì)了特定說(shuō)話(huà)人跟蹤系統(tǒng)，主要包括三個(gè)功能模塊:音頻采集與處理模塊、說(shuō)話(huà)人確認(rèn)模塊和定位跟蹤模塊。利用Kinect for Windows SDKv1.8和Open CV

4、以及tsVPR說(shuō)話(huà)人確認(rèn)引擎等工具包，對(duì)這三個(gè)模塊進(jìn)行了設(shè)計(jì)及實(shí)現(xiàn)。最終根據(jù)獲取到的特定說(shuō)話(huà)人的方位角，實(shí)現(xiàn)了特定說(shuō)話(huà)人的定位跟蹤功能。
　　實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)和實(shí)現(xiàn)的特定說(shuō)話(huà)人跟蹤系統(tǒng)，采用自適應(yīng)波束形成技術(shù)能夠準(zhǔn)確地定位特定說(shuō)話(huà)人的方位。在理想環(huán)境和單一特定說(shuō)話(huà)人情況下平均定位準(zhǔn)確率為93.3％，方位角的均方根誤差(Root mean square error，RMSE)為6.4，在理想環(huán)境和多人情況下平均定位準(zhǔn)確率為89