基于DSP的說(shuō)話人定位跟蹤系統(tǒng)的設(shè)計(jì).pdf

1、隨著科學(xué)技術(shù)的快速發(fā)展，基于DSP技術(shù)的音視頻信號(hào)處理成為了學(xué)術(shù)研究中的一個(gè)重要課題。其中，音頻或視頻技術(shù)對(duì)目標(biāo)說(shuō)話人的檢測(cè)、定位和跟蹤日趨成為研究的一個(gè)重點(diǎn)。它在視頻監(jiān)控、視頻會(huì)議，多媒體系統(tǒng)中都有著越來(lái)越廣泛的應(yīng)用。但由于單模態(tài)視頻在進(jìn)行工作時(shí)，可能會(huì)因?yàn)楣饩€不足導(dǎo)致視頻的定位跟蹤不準(zhǔn)確，或是失效；同樣地，單一的音頻技術(shù)對(duì)于目標(biāo)說(shuō)話人的定位與跟蹤，也可能因?yàn)檩^大的噪聲或混響而產(chǎn)生性能的降低。針對(duì)出現(xiàn)的這一問題，音視頻融合技術(shù)應(yīng)運(yùn)而生

2、。本文主要研究的是利用一種魯棒的方法由音視頻融合信息對(duì)目標(biāo)說(shuō)話人進(jìn)行定位與跟蹤，并通過硬件平臺(tái)進(jìn)行實(shí)現(xiàn)。
　　 論文首先對(duì)硬件平臺(tái)及選取進(jìn)行了介紹，并搭建了帶有DM6437處理芯片并基于達(dá)芬奇(DaVinci)技術(shù)的DSP硬件實(shí)驗(yàn)平臺(tái)，為之后語(yǔ)音和視頻信息的處理及融合提供了良好的硬件環(huán)境的支持；其次，對(duì)音頻信號(hào)時(shí)延估計(jì)方法所用模型及算法做了深入的介紹，最終采用一種基于坐標(biāo)系變換的空間聲源定位方法對(duì)目標(biāo)進(jìn)行音頻定位。通過建立一個(gè)特

3、定坐標(biāo)系，將原有坐標(biāo)系中的任意4個(gè)麥克風(fēng)陣列坐標(biāo)轉(zhuǎn)換為新坐標(biāo)中的3個(gè)特定點(diǎn)和一個(gè)任意點(diǎn)的坐標(biāo)，并進(jìn)行聲源坐標(biāo)的計(jì)算。此方法與傳統(tǒng)的延時(shí)估計(jì)算法相比，有效的提高了定位的準(zhǔn)確度，并且在坐標(biāo)轉(zhuǎn)換之后使得運(yùn)算量得到很大程度的簡(jiǎn)化。
　　 之后，介紹卡爾曼濾波器及均值漂移(Mean Shift)算法在視頻信息中的應(yīng)用。實(shí)驗(yàn)驗(yàn)證各自方法的優(yōu)缺點(diǎn)，并提出了使用卡爾曼濾波器結(jié)合均值漂移算法對(duì)目標(biāo)進(jìn)行視頻跟蹤的方法，且通過實(shí)際操作證明該方法的魯棒

4、性。通過對(duì)硬件視頻子系統(tǒng)(VPSS)中3個(gè)主要寄存器(CCDC、OSD和VENC)及TVP5146寄存器的設(shè)置，實(shí)現(xiàn)經(jīng)過芯片DM6437處理并在硬件平臺(tái)上進(jìn)行的視頻采集與顯示的功能。
　　 最后，本文利用卡爾曼濾波器融合音頻及視頻信息，并將程序刻寫入硬件開發(fā)板，使之能獨(dú)立運(yùn)用音視頻融合方法完成對(duì)目標(biāo)說(shuō)話人進(jìn)行定位與跟蹤。其優(yōu)點(diǎn)在于綜合了視覺與聽覺信息，降低單模態(tài)信息固有存在的不足在目標(biāo)定位跟蹤時(shí)產(chǎn)生的誤差，使兩個(gè)模態(tài)信息能夠彼此