基于稀疏表示的RGB-D圖像特征學(xué)習(xí)研究與應(yīng)用.pdf

1、RGB-D(彩色與深度)圖像分類是計算機視覺領(lǐng)域的研究熱點之一。將彩色信息與反映物體表面三維特征的深度信息融合，可極大地提高圖像分類準(zhǔn)確率。然而，對于大規(guī)模、復(fù)雜場景的RGB-D圖像分類問題，傳統(tǒng)的特征提取方法往往需要手工設(shè)計特征，且難以提取辨別性能高的稀疏性特征，影響了分類性能。稀疏表示方法具有魯棒性好、泛化能力和抗干擾能力強特點；深度學(xué)習(xí)能自動地對輸入樣本圖像進(jìn)行本質(zhì)特征抽取，這兩類新方法的出現(xiàn)為RGB-D圖像特征提取與學(xué)習(xí)注入新的

2、方向。研究快速、有效的RGB-D圖像稀疏表示方法。將其與深度學(xué)習(xí)技術(shù)融合，提出高效的RGB-D圖像特征自動學(xué)習(xí)方法，應(yīng)用到水果分類識別中，不僅將極大地推動圖像分類研究的進(jìn)程，也將促進(jìn)農(nóng)業(yè)計算機視覺的應(yīng)用發(fā)展，具有重要的理論和現(xiàn)實意義。
　　本文以提高RGB-D圖像分類準(zhǔn)確率為目標(biāo)，采用稀疏表示和深度學(xué)習(xí)理論研究RGB-D圖像特征提取、表達(dá)和學(xué)習(xí)方法。在分析目前特征提取與表達(dá)的基礎(chǔ)上，提出新的特征學(xué)習(xí)方法，并將其應(yīng)用到RGB-D圖像

3、分類和水果成熟度判別中。主要研究內(nèi)容和創(chuàng)新工作包括以下幾個方面：
　　（1）提出了基于局部約束稀疏編碼（Locality-constrained Linear Coding，LLC）的RGB-D圖像特征表達(dá)方法。針對經(jīng)典的稀疏編碼速度慢以及未考慮特征的局部性問題，該方法分別對RGB圖像和depth圖像提取SIFT特征，利用LLC形成RGB-D圖像的特征表示。與經(jīng)典的稀疏表示相比，該方法同時考慮了特征的稀疏性與局部性，更加有利于圖像

4、分類和目標(biāo)識別。在水果種類分類和RGB-D數(shù)據(jù)集上驗證了局部約束稀疏表示的有效性。
　　（2）提出了改進(jìn)結(jié)構(gòu)化稀疏表示的RGB-D圖像特征學(xué)習(xí)算法。針對RGB-D形
　　狀高相似度圖像難區(qū)分問題，在優(yōu)化函數(shù)中引入理想類別標(biāo)記項來增強字典判別性能，采用交替方向乘子（Alternating Direction Method of Multipliers,ADMM）方法推導(dǎo)字典學(xué)習(xí)與稀疏編碼求解，獲取改進(jìn)的結(jié)構(gòu)化稀疏表示作為特征表

5、示，完成圖像分類。該方法在保證特征學(xué)習(xí)的稀疏性基礎(chǔ)上，同時實現(xiàn)類類之間距離最大和類內(nèi)距離最小約束，實現(xiàn)相似圖像有效區(qū)分。在RGB-D數(shù)據(jù)集上進(jìn)行對比實驗，表明了該方法比經(jīng)典的組稀疏方法具有更好的性能。
　　（3）提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）融合組稀疏表示的RGB-D圖像特征學(xué)習(xí)方法。傳統(tǒng)的特征表示方法中，其特征提取一般使用手工設(shè)計圖像局部特征，這很大程度上依靠專家經(jīng)驗知識

6、，缺乏特征提取的通用性，利用CNN方法，能自動從源圖像中直接提取圖像的邊緣，紋理和顏色特征，形成圖像的全局和局部融合特征。但是，CNN學(xué)習(xí)特征冗余較大，需進(jìn)一步用很少的數(shù)據(jù)捕獲其中的重要信息。組稀疏表示方法結(jié)合了稀疏表示中的L1-范數(shù)約束以及嶺回歸中的L2-范數(shù)約束，在組間盡可能稀疏，同時保持組內(nèi)盡可能小的損失誤差。對比稀疏表示方法，該方法融合CNN自動學(xué)習(xí)特征與組稀疏的組效應(yīng)優(yōu)點，在圖像分類中能獲取得更好的性能。
　　（4）提出

7、一種基于深度學(xué)習(xí)與組稀疏的RGB-D圖像層次特征學(xué)習(xí)模型。首先，采用卷積遞歸神經(jīng)網(wǎng)絡(luò)方法分別從源RGB和深度圖像中自動提取低層和中層特征；然后，采用組稀疏編碼和改進(jìn)的塊字典學(xué)習(xí)方法對圖像特征進(jìn)行深入學(xué)習(xí)，獲取更具區(qū)分與判別能力的高層特征表示；最后采用softmax分類器實現(xiàn)RGB-D圖像分類。在RGB-D數(shù)據(jù)集和2D3D數(shù)據(jù)集上進(jìn)行實驗驗證，表明該層次特征學(xué)習(xí)方法能有效完成大規(guī)模數(shù)據(jù)集分類，對比其他特征學(xué)習(xí)方法，其準(zhǔn)確率有明顯提升，同時

8、融合彩色與深度圖像特征可顯著提高圖像分類準(zhǔn)確率。
　　（5）設(shè)計與實現(xiàn)自然場景下百香果目標(biāo)檢測與成熟度分類的系統(tǒng)。為了實現(xiàn)機器人快速的百香果適時采摘，首先采用kinect2.0設(shè)備，建立果園場景下百香果RGB-D數(shù)據(jù)庫；然后對RGB圖像和深度圖像分別采用HOG特征和Adaboost級聯(lián)方法完成百香果果實檢測，其檢測精度達(dá)到82.9％；最后利用彩色SIFT特征融合ScSPM、彩色SIFT特征融合LLC和CNN特征學(xué)習(xí)方法對檢測出的百

9、香果果實進(jìn)行成熟度判別，三種方法中，彩色SIFT特征融合LLC方法取得最好的分類準(zhǔn)確率(91.52%)，能高效地完成自然場景下百香果果實的成熟度分類作業(yè)。
　　通過上述的研究工作，結(jié)果表明：有效的特征編碼方法，即稀疏表示方法能夠極大地改善RGB-D視覺圖像分類和識別的性能；基于深度學(xué)習(xí)結(jié)構(gòu)的特征方法能夠?qū)υ嫉膱D像數(shù)據(jù)學(xué)習(xí)出有效的特征，避免了人工設(shè)計特征的復(fù)雜性?；谙∈璞硎竞蜕疃葘W(xué)習(xí)的特征提取方法，在圖像識別上可獲得較高的準(zhǔn)確率