實時視覺特征檢測與匹配硬件架構(gòu)研究.pdf

1、隨著科學(xué)技術(shù)飛速發(fā)展，圖像以其具體、直觀的特點成為獲取信息的主要手段，被廣泛應(yīng)用于數(shù)據(jù)表示、信息傳遞和交流通信，在計算機(jī)視覺、模式識別、醫(yī)學(xué)圖像處理、遙感圖像處理、圖像信息檢索、導(dǎo)航制導(dǎo)、三維重建等眾多領(lǐng)域獲得廣泛應(yīng)用。這些應(yīng)用都需要在不同傳感器（成像設(shè)備）、不同時間、不同條件下獲取的兩幅或多幅圖像間建立對應(yīng)關(guān)系，而且對計算實時性要求非常高。但歸咎于問題的復(fù)雜性，不使用特殊硬件的普通個人電腦非常難滿足計算實時性的需求。本文的研究目標(biāo)是設(shè)

2、計出獨立通用、功耗低、體積小、速度快的視覺特征檢測與匹配硬件架構(gòu)。
　　本文通過大量比較分析發(fā)現(xiàn)，SIFT算法是最魯棒的特征檢測與描述方法之一，相對于其他方法的重要優(yōu)勢在于，其對圖像位移、尺度變換和旋轉(zhuǎn)變換都具有不變性，同時對光照變化、仿射變換、投影變換以及噪聲也具有相當(dāng)?shù)聂敯粜?。然而，它的計算量非常大，通過純軟件方法難以滿足計算實時的需求。本文提出一種基于FPGA+DSP的 SIFT特征檢測與描述向量提取硬件架構(gòu)，很好的融合了F

3、PGA的并行/流水特性與高性能DSP的靈活性，利用二維高斯核的可拆分性和對稱性優(yōu)化二維高斯濾波器，通過提煉并改造特征檢測模塊的并行性優(yōu)化SIFT特征檢測模塊，通過實驗分析確定梯度方向與模值計算模塊、SIFT特征檢測模塊的字長，因此本架構(gòu)能夠在不損失匹配精度的前提下降低FPGA資源占用率。該系統(tǒng)在分辨率為320x256的圖像中檢測SIFT特征點僅耗時10ms，提取單個SIFT描述向量耗時80us，特征數(shù)量不超過200時，其計算速度達(dá)到50

4、幀/秒。雖然上述FPGA+DSP硬件架構(gòu)能實時檢測 SIFT特征并提取描述向量。然而，它沒有實現(xiàn)描述向量匹配步驟，并且需要兩個芯片協(xié)同工作，必須以單板形式存在。本文進(jìn)一步提出基于單片F(xiàn)PGA的視覺特征檢測與匹配的全并行/流水硬件架構(gòu)，通過綜合分析各模塊的像素吞吐率與計算量需求、改進(jìn)二維高斯濾波器層疊結(jié)構(gòu)、提煉BRIEF描述向量提取與匹配的并行度，從而降低FPGA資源占用率，使整個視覺特征檢測與匹配系統(tǒng)能在單片F(xiàn)PGA中實現(xiàn)。它能以60幀

5、/秒的速度在1280x720圖像中檢測 SIFT特征點、提取并匹配BRIEF描述向量，滿足大部分應(yīng)用系統(tǒng)對特征檢測與匹配計算實時性的需求。大量實驗證明，該系統(tǒng)大大的提升了視覺特征檢測與匹配的計算速度，并保持相當(dāng)?shù)钠ヅ渚?。整個系統(tǒng)在單片F(xiàn)PGA中實現(xiàn)，由相機(jī)直接驅(qū)動，因此可以非常方便的集成到智能相機(jī)、視覺導(dǎo)航機(jī)器人等嵌入式系統(tǒng)中，提供可靠的圖像對應(yīng)關(guān)系。
　　本研究通過兩個實例闡述實時視覺特征檢測與匹配硬件架構(gòu)的應(yīng)用。首先利用本文

6、提出的FPGA+DSP硬件架構(gòu)加速基于SIFT特征的月球著陸器水平測速算法中最耗時、占內(nèi)存最多的SIFT特征檢測及描述向量提取部分，使整個系統(tǒng)能在規(guī)定時間內(nèi)估計著陸器的水平速度，滿足著陸器對計算實時性的需求。然后利用本文提出的基于單片F(xiàn)PGA的實時視覺特征檢測與匹配模塊，加速未標(biāo)定相機(jī)雙目視覺視差估計算法中計算量最大、占內(nèi)存最多的視覺特征提取與匹配部分，消除雙目視覺系統(tǒng)對相機(jī)內(nèi)參和幾何關(guān)系已知的約束，降低對安裝工藝精度的要求。本文提出的