基于達芬奇平臺的視頻實時融合技術(shù)的研究與實現(xiàn).pdf

1、視頻融合技術(shù)是指將多個視覺傳感器在同一時間或不同時間獲取的關(guān)于某個具體場景的視頻信息加以綜合，從而豐富視頻信息、增強感知效果的技術(shù)。在低光照、惡劣天氣等環(huán)境條件下，由于紅外傳感器感受和反映的是目標和背景向外界輻射能量的差異，故紅外視頻具有觀察距離遠、觀察“全天候”等優(yōu)點，同時又具有視頻細節(jié)不明顯等不足，將其與可見光視頻進行融合，能夠?qū)⒖梢姽庖曨l細節(jié)分辨率高的優(yōu)點融入其中，使得觀察到的視頻細節(jié)豐富，視覺效果明顯，因此，紅外和可見光的視頻融

2、合技術(shù)在軍事、交通、醫(yī)學等領(lǐng)域具有廣泛的應用，也是計算機視覺領(lǐng)域的研究熱點之一。視頻融合算法普遍具有數(shù)據(jù)量大，復雜度高的特點，因而進行實時處理具有一定的難度，對處理器的處理能力要求較高。近年來，數(shù)字信號處理(DSP)芯片作為高速和實時處理的重要載體之一得到了快速的發(fā)展，使得基于DSP的圖像處理系統(tǒng)得到了廣泛應用，而嵌入式系統(tǒng)具有功耗低、可靠性好、實時性強、性價比高、可移植性強的優(yōu)點，為紅外和可見光實時視頻融合處理的實現(xiàn)提供了可能。本論文

3、以德州儀器公司出品的內(nèi)部集成了ARM和DSP雙核處理器的TMS320DM6446為研發(fā)平臺，研究基于DaVinci平臺的紅外和可見光視頻實時融合，主要工作包括：
　　 1．研究了TMS320DM6446ARM端視頻算法包，提出單緩存奇偶幀的方案實現(xiàn)視頻分幀；
　　 2．研究了紅外和可見光圖像融合預處理算法，結(jié)合TI的TMS320C64x+DSP圖像視頻處理庫中直方圖均衡和中值濾波函數(shù)實現(xiàn)圖像的增強降噪處理，結(jié)合硬件安裝成

4、像特點搭建簡化的配準平臺實現(xiàn)自適應的互相關(guān)法配準算法；
　　 3．研究了TMS320DM6446DSP端視頻幀處理算法包和Codec Engine，依據(jù)TMS320C64x-DSP的特點，提出基于小波的紅外和可見光的視頻融合方案：首先利用TI IMGLIB庫中小波垂直和水平變換算法對視頻幀進行實時分解，再分別針對高低頻分量的特點進行融合處理，最后合成為輸出視頻幀。
　　 4．將DSP端經(jīng)過融合處理后的視頻幀傳送到ARM端