音視頻聯(lián)合說話人定位與跟蹤方法研究.pdf

1、說話人定位與跟蹤是人機交互研究中的重要課題，在視頻會議系統(tǒng)、多媒體系統(tǒng)以及機器人等領域有著廣泛的應用。通常，基于計算機視覺的人臉或人體跟蹤方法與基于計算機聽覺的聲源定位方法都可作為解決說話人定位與跟蹤問題的基本手段。然而，這些單模態(tài)的定位與跟蹤方法難以適應復雜的動態(tài)環(huán)境，人臉跟蹤方法容易受到視頻遮擋以及光照、姿態(tài)變化等因素的影響，而背景噪聲與房間混響則制約著聲源定位方法的性能。因此，采用信息融合技術對說話人的音視頻雙模態(tài)信息進行處理，則

2、成為提高說話人定位與跟蹤系統(tǒng)精度與魯棒性的重要手段。 音視頻聯(lián)合說話人定位與跟蹤是計算機聽覺與計算機視覺相互融合的一個重要方向，其目的是綜合利用說話人的音頻與視頻信息來估計說話人的空間位置。本文對音視頻聯(lián)合說話人定位與跟蹤問題進行了深入研究，取得的研究成果如下： (1)將多傳感器信息融合技術用于說話人定位與跟蹤問題，提出了一種基于動態(tài)貝葉斯網(wǎng)絡的音視頻聯(lián)合說話人定位與跟蹤方法。在動態(tài)貝葉斯網(wǎng)絡框架中，該方法分別采用麥克風

3、陣列聲源定位、基于膚色的人臉跟蹤以及音視頻互信息最大化三種感知方式獲取與說話人位置相關的測量信息；然后采用粒子濾波對這些信息進行融合，通過貝葉斯推理實現(xiàn)說話人的有效跟蹤；并運用信息熵理論對三種感知方式進行動態(tài)管理，以提高跟蹤系統(tǒng)的實時性。 (2)將加權子空間擬合算法應用于麥克風陣列聲源定位問題，提出一種寬帶加權子空間擬合聲源定位方法。該方法在貝葉斯估計理論框架下，結合語音信號的寬帶特性，構造了一個適用于語音信號的目標函數(shù)，采用粒

4、子濾波對該目標函數(shù)進行全局優(yōu)化，從而有效地確定聲源的空間位置。 (3)綜合考慮語音建立信號與說話人運動模型在抑制房間混響中的作用，提出一種基于分層采樣粒子濾波的麥克風陣列聲源跟蹤方法。在實際的中小型房間環(huán)境中，由于墻壁、地面、桌面的反射作用，麥克風陣列接收到的語音信號中通常含有混響成分，從而影響聲源定位與跟蹤系統(tǒng)的性能?；诜謱硬蓸恿Ｗ訛V波的聲源跟蹤方法從語音信號中提取出無混響的建立信號，將其作為觀測信息來計算麥克風陣列波束形成