智能環(huán)境下基于音視頻特征融合的多說話人跟蹤研究.pdf

1、近年來，隨著遠(yuǎn)程視頻會議系統(tǒng)以及自動會議分析系統(tǒng)的發(fā)展，智能環(huán)境下說話人跟蹤問題已成為人機交互領(lǐng)域的研究熱點，它在以人為基礎(chǔ)的普適計算、視頻會議系統(tǒng)以及機器人導(dǎo)航等領(lǐng)域都有著廣泛的應(yīng)用。隨著當(dāng)前自動會議分析系統(tǒng)的發(fā)展，以往基于麥克風(fēng)陣列與基于計算機視覺的單模態(tài)跟蹤技術(shù)已無法滿足復(fù)雜條件下對說話人跟蹤系統(tǒng)整體精確性與魯棒性的需求?；诖?，本文就智能環(huán)境下音視頻多特征融合的多說話人跟蹤方法方法展開了深入的研究，主要取得的研究成果如下：

2、>　　 (1)針對粒子濾波算法在說話人跟蹤系統(tǒng)中的廣泛應(yīng)用，本文對粒子濾波算法展開了深入的研究。考慮到一般系統(tǒng)狀態(tài)的轉(zhuǎn)移概率密度函數(shù)無法實現(xiàn)最新量測信息的實時更新，容易導(dǎo)致權(quán)值退化問題的出現(xiàn)，本文采用有限中心差分的方法對系統(tǒng)的重要性概率密度函數(shù)進行迭代更新，并通過引入噪聲信息差值的方法，對系統(tǒng)的采樣粒子數(shù)進行在線調(diào)整，實現(xiàn)了粒子采樣的實時更新，一定程度上克服了粒子采樣的權(quán)值退化問題。
　　 (2)針對基于麥克風(fēng)陣列的說話人跟蹤

3、問題，本文提出了一種基于自適應(yīng)有限差分粒子濾波的說話人定位跟蹤方法，該方法將自適應(yīng)差分粒子濾波引入到聲源定位跟蹤系統(tǒng)，實現(xiàn)了低信噪比與強混響環(huán)境下說話人的魯棒跟蹤問題。
　　 (3)針對基于計算機視覺的人體頭部跟蹤問題，本文考慮采用人體頭部的顏色和橢圓輪廓的最大梯度距離測度(DMG)信息作為特征觀測量，在D-S證據(jù)理論的框架內(nèi)實現(xiàn)了同類信息的融合處理，有效避免了基于單一顏色特征在光照突變、姿態(tài)變化以及背景相似等情況下的跟蹤穩(wěn)定性