一種新的視皮層顏色編碼理論及其視覺應(yīng)用.pdf

1、顏色判別與感知對于正常的人類視覺系統(tǒng)來說，是非常簡單的任務(wù)，但是對顏色編碼理論與方法的研究遠(yuǎn)遠(yuǎn)沒有使得機器達(dá)到人類視覺系統(tǒng)的智能水平，同時對顏色視覺神經(jīng)元基礎(chǔ)的研究也遠(yuǎn)遠(yuǎn)沒有達(dá)到人類對顏色感知的能力。目前，顏色視覺研究已成為神經(jīng)科學(xué)與計算機視覺中的難點，主要體現(xiàn)在:其一，從神經(jīng)科學(xué)角度來說，一直以來神經(jīng)生理學(xué)實驗僅僅停留在對視網(wǎng)膜錐體信號的認(rèn)識上，難以捕獲視皮層顏色神經(jīng)元的行為規(guī)律，因此無法解釋視皮層由底層到高層的色調(diào)選擇性、顏色判別與

2、顏色感知效應(yīng):其二，從計算機視覺角度來說，顏色特征的提取與表征既需要解決目標(biāo)/場景在不同光照等外界條件引起的外觀顏色變化，又需要使得顏色描述子具有區(qū)分不同目標(biāo)/場景類別的判別力。近年來，隨著科學(xué)技術(shù)的發(fā)展，顏色視覺生物機制的研究有了新的證據(jù)與結(jié)論，這些新的認(rèn)識促進(jìn)了顏色視覺的發(fā)展，對解決顏色的視覺難點具有重要意義和價值。
　　 基于此，本論文以近年來神經(jīng)科學(xué)研究成果為生物依據(jù)，重點關(guān)注視皮層顏色信號的傳輸與處理，特別是顏色神經(jīng)元

3、的空間和顏色屬性，研究并分析了顏色神經(jīng)元的對立性、選擇性與層次性，及其編碼視覺刺激的能力。重點研究了如何利用顏色神經(jīng)元的空間感受野屬性完成對自然圖像的顏色表面與顏色邊緣的有效編碼，以及如何將底層顏色編碼擴展到高層顏色編碼，以實現(xiàn)不同層次上的顏色視覺系統(tǒng)，展開對真實世界場景中大尺度數(shù)據(jù)的視覺應(yīng)用研究，最終顯式地建立計算模型單元與神經(jīng)元之間定性與定量的關(guān)聯(lián)，豐富了視皮層顏色編碼理論，是對該理論的一種科學(xué)性的描述、分析與解釋，從而驗證了提出的

4、顏色編碼理論更符合人類視皮層顏色視覺的生物機理。
　　 本論文提出了一種新的視皮層顏色編碼理論，分別展開了從算法、應(yīng)用到神經(jīng)元三個層面的研究。具體地，本論文的主要研究分為三條主線:
　　 (1)第一條主線，從神經(jīng)生理學(xué)出發(fā)，利用視皮層神經(jīng)元對顏色和空間信息響應(yīng)規(guī)律的共性與特性，提出了一個新的V1皮層顏色編碼理論，主要包括兩個顏色編碼算法:
　　 具有顏色選擇性的表面編碼根據(jù)Single-Opponent(SO)神

5、經(jīng)元對低頻信號響應(yīng)，及其弱方向選擇性，本論文利用有向線性濾波器對空間信息的編碼能力，提出了一種新的不可分離的空間-顏色對立算子，將對圖像的空間帶通濾波轉(zhuǎn)化為濾波器的激活與抑制子單元分別與對立顏色成分的線性加權(quán)和，完成SO簡單單元的建模。盡管本論文提出的顏色表面編碼方法并不是第一次用顏色對立信息提取顏色表面特征，但與先前提出的工作相比，創(chuàng)新點在于:第一，對顏色表面編碼的主要動機是模擬視皮層顏色選擇神經(jīng)元的弱空間屬性與強顏色屬性。本論文的工

6、作考慮了顏色神經(jīng)元的空間選擇性，與之前的工作將顏色神經(jīng)元建模為無向算子（實際是類似視網(wǎng)膜神經(jīng)元結(jié)構(gòu)）相比，更符合視皮層顏色神經(jīng)元的感受野形態(tài)結(jié)構(gòu);第二，首次將非線性歸一化機制用于編碼顏色神經(jīng)元的增益控制，增強了顏色選擇性，并抑制了模型單元響應(yīng)。實驗表明，提出的算法能夠提取更為豐富的圖像顏色興趣點，以及顯著性區(qū)域。
　　 具有空間-顏色選擇性的顏色邊緣編碼根據(jù)視皮層Double-Opponent(DO)神經(jīng)元對顏色邊緣的編碼能力，

7、本論文在基于顏色表面編碼理論的基礎(chǔ)上，提出一種基于空間濾波的顏色邊緣編碼理論。從對區(qū)域到對邊緣檢測的問題轉(zhuǎn)換為對SO簡單單元的空間濾波問題，并且濾波算子具有中央-周圍結(jié)構(gòu)的激活與抑制子單元，從而構(gòu)建具有空間與顏色同時對立的DO簡單單元，編碼具有空間-顏色選擇性的邊緣特征。進(jìn)一步利用能量機制，計算一對相反極性DO簡單單元的能量響應(yīng)，從而構(gòu)建相位不變（顏色對比度反轉(zhuǎn)不變）的DO復(fù)雜單元。盡管本論文提出的顏色邊緣編碼方法并不是第一次將顏色對立

8、信息融入到空間濾波中，但與先前提出的工作相比，創(chuàng)新點在于:第一，該編碼理論模擬了DO神經(jīng)元的空間與顏色屬性，同時形成了顏色與空間選擇性與對立性，使得顏色邊緣有更強的判別能力，特別是通過能量機制區(qū)分了DO簡單單元與復(fù)雜單元在相位選擇性上的差異，最終完成顏色對比度反轉(zhuǎn)不變的顏色邊緣編碼;第二，該理論建立在序列的遞歸的顏色表面編碼基礎(chǔ)上，體現(xiàn)了編碼理論由簡單到復(fù)雜的層次特性。理論上構(gòu)建DO模型單元的輸入特征與視皮層中大量存在的神經(jīng)元相符。相比

9、于現(xiàn)有的顏色描述子通常在不同的顏色空間中濾波完成邊緣信息編碼，本論文提出的編碼理論可以看作是一種顏色邊緣的二階算子，除了能獲取豐富的顏色局部對比度和紋理信息外，進(jìn)一步體現(xiàn)了顏色神經(jīng)元完成不同功能的層次性，即從顏色表面，到顏色邊緣，最后到顏色對比度不變的邊緣編碼方式，與神經(jīng)科學(xué)的生理證據(jù)一致。更重要的是，從理論上說，該顏色編碼方式適用于任意一種基于圖像梯度的算法。
　　 (2)第二條主線，從視覺應(yīng)用的角度出發(fā)，針對不同皮層區(qū)域所編

10、碼的特征復(fù)雜性不同，研究視皮層“what”通道自底向上的視覺信息處理機制，將V1皮層的顏色編碼理論擴展到高層V4/IT區(qū)域的編碼理論，面向不同難度的視覺任務(wù)提出了不同層次的顏色視覺系統(tǒng)，主要包括三個顏色視覺系統(tǒng):
　　 V1皮層:基于顏色紋理基元圖的輪廓檢測標(biāo)準(zhǔn)輪廓檢測方法廣泛使用基于高斯導(dǎo)數(shù)的亮度通道、紋理通道、顏色通道等。然而，自然圖像中的顏色豐富多樣，紋理特征中同樣包含了豐富的顏色信息。根據(jù)視皮層邊緣/輪廓編碼的生物機理，

11、即V1神經(jīng)元主要對邊緣/輪廓刺激的響應(yīng)，并通過線性合并的方式完成對不同視覺要素的整合，本論文利用V1皮層的顏色編碼理論，提出了一種多尺度多方向顏色紋理基元圖的編碼方法，完成顏色紋理梯度的計算，利用邏輯回歸算法學(xué)習(xí)不同視覺要素之間的合并權(quán)重，最終獲取每個像素點的輪廓概率。本方法的創(chuàng)新點在于:紋理特征的編碼考慮了顏色表面信息，豐富紋理信息的表征，有利于其外觀建模。相比于傳統(tǒng)的紋理與顏色分離表示的特征而言，本論文提出的輪廓檢測系統(tǒng)更符合人類視

12、皮層V1神經(jīng)元對紋理的編碼屬性，更好地適應(yīng)顏色與紋理同時變化的場景圖像。
　　 V1皮層:全局顏色特征提取的場景分類神經(jīng)科學(xué)研究發(fā)現(xiàn)場景感知僅僅需要圖像的全局特征編碼，不需要目標(biāo)細(xì)節(jié)的特征提取或場景分割，因此可以看做是神經(jīng)元在V1皮層完成的特征編碼;此外，相比于灰度級或給予錯誤顏色信息的場景圖像，具有正確顏色信息的場景分類精度更高。借鑒Gabor濾波器獲取場景全局GIST特征的能力，本論文利用V1皮層的顏色編碼理論，提出顏色表面

13、與顏色邊緣特征的場景識別系統(tǒng)。本方法的創(chuàng)新點在于，借鑒了神經(jīng)科學(xué)對場景分類以及顏色對場景感知重要性的研究成果，為場景識別提供了一個更為一般的場景顏色全局特征編碼的視覺框架。
　　 V4/IT皮層:顏色目標(biāo)識別本論文前兩個顏色視覺系統(tǒng)都是基于V1皮層的顏色編碼理論的應(yīng)用研究，隨著視皮層“what“通道的層次逐漸升高，皮層神經(jīng)元編碼特征逐漸復(fù)雜，最終達(dá)到V4/IT皮層完成具有位置和尺度不變的色調(diào)選擇與顏色判別，是復(fù)雜目標(biāo)識別的神經(jīng)元

14、基礎(chǔ)。借鑒形狀通道的層次傳輸仿生目標(biāo)識別模型HMAX中底層V1到高層IT之間的連接方式，本論文在V1視皮層編碼的基礎(chǔ)上，將從V1到V4/IT皮層的層次連接計算方式推廣到顏色信息，提出顏色表面與顏色邊緣編碼的前饋層次視覺系統(tǒng)，從大量自然場景圖像中學(xué)習(xí)具有豐富空間與顏色選擇性的原型模板，為V4/JT皮層的模板匹配和目標(biāo)識別奠定了基礎(chǔ)。本方法的創(chuàng)新點在于，完善了視皮層顏色編碼理論的層次性，為目標(biāo)識別提供了一個更為全面的外觀建?？蚣?。
　

15、　 (3)前兩條研究主線分別對顏色視覺的理論與方法及其視覺應(yīng)用進(jìn)行了研究，可見，視皮層是研究顏色編碼的重要區(qū)域，一個好的顏色編碼理論及模型是圖像處理和計算機視覺應(yīng)用的重要基礎(chǔ)。本論文另一個重要研究內(nèi)容是利用該理論模型統(tǒng)一神經(jīng)元數(shù)據(jù)，從神經(jīng)元角度完成對理論模型的科學(xué)性描述分析與解釋。因此，本論文的第三條研究主線是在前面兩條研究內(nèi)容的基礎(chǔ)上，提出一種新的對顏色編碼理論的描述方法，通過對比計算模型單元與神經(jīng)元響應(yīng)，建立兩者之間的顯式關(guān)聯(lián)，驗

16、證理論與模型的可靠性及科學(xué)性，主要包括三種比較:
　　 模型單元的空間-顏色選擇性與V1神經(jīng)元的比較區(qū)分不同顏色神經(jīng)元的方式之一就是測量不同視覺要素（空間頻率、方向、相位和顏色）對模型單元調(diào)諧曲線的影響。本論文設(shè)計與電生理實驗相似的顏色和空間視覺刺激模式，如等亮度顏色光柵，計算模型單元對刺激的響應(yīng)規(guī)律，同時確定該模型單元的最優(yōu)刺激模式，與神經(jīng)元數(shù)據(jù)比較，驗證模型解釋神經(jīng)元空間和顏色屬性的能力，豐富了該顏色編碼理論在V1皮層的科學(xué)

17、描述。
　　 模型單元的色調(diào)選擇性與V4/IT神經(jīng)元的比較底層V1顏色神經(jīng)元主要對特定波長的顏色具有選擇性，V4/IT皮層神經(jīng)元呈現(xiàn)狹窄的色調(diào)選擇性，從而完成顏色判別任務(wù)。本論文從大量自然場景圖像中學(xué)習(xí)具有空間和顏色選擇性的視覺字典，提出一種基于取樣的模板匹配方法計算模型單元對顏色測試刺激的響應(yīng)，驗證模型解釋神經(jīng)元的色調(diào)選擇性的能力，豐富了該顏色編碼理論在V4/IT皮層的科學(xué)描述。
　　 顏色選擇性的空間色調(diào)圖及其亮度不

18、變性與V1N4/IT神經(jīng)元的比較根據(jù)顏色選擇性神經(jīng)元對不同顏色刺激的響應(yīng)空間分布遵循色調(diào)環(huán)的排列方式，本論文提出一種基于主成分分析的模型單元響應(yīng)軌跡分布求解方法，主成分分量所在低維空間近似描述了神經(jīng)元的響應(yīng)軌跡。與內(nèi)源光學(xué)成像實驗比較，驗證了視皮層色調(diào)圖的存在，模型單元對偏好顏色刺激響應(yīng)在空間位置上越接近，則輸入顏色刺激的色調(diào)就越接近。通過改變同一種色調(diào)的亮度值，計算模型單元的顏色或色調(diào)選擇性變化趨勢，驗證了顏色選擇神經(jīng)元響應(yīng)具有亮度不