基于視覺計算和人類感知的圖像質(zhì)量評價研究.pdf

1、視覺作為人類最重要的感知機制之一，構(gòu)成了人類日常生活中百分之八十以上的信息來源。億萬年間，視覺幫助人類學習關(guān)鍵知識、理解生存環(huán)境，成就今天高度發(fā)達的現(xiàn)代社會。上世紀，自照相機的發(fā)明，人類社會跨入了視覺信息的時代。近幾十年來，數(shù)字圖像逐漸成為日常生活中應(yīng)用最廣泛、最高效的信息媒介之一。學術(shù)界為求圖像的高保真、高質(zhì)量開展了大量研究。然而伴隨著圖像的采集，傳輸、處理以及存儲等過程，圖像不可避免地遭受不同類型、不同程度的失真。因此，為減弱圖像失

2、真、優(yōu)化圖像處理系統(tǒng)、提高用戶觀看體驗，圖像質(zhì)量評價的需求應(yīng)運而生。
　　基于人類感知與視覺計算，本文旨在：1）基于視覺系統(tǒng)與高層感知機制，提供就圖像質(zhì)量評價全面且深入的分析與研究；2）建立符合人類主觀質(zhì)量認知的客觀圖像質(zhì)量評價準則及相關(guān)方法。為此，本文系統(tǒng)并全面地探討了影響人類視覺質(zhì)量感知的各方面因素，深入地分析了針對圖像質(zhì)量具有敏感性的各類圖像特征指標。考慮人類定性質(zhì)量評價現(xiàn)象、結(jié)合人類視覺注意機制、引入無監(jiān)督視覺質(zhì)量特征學習

3、理論，本文創(chuàng)新地提出了若干突破性思路，建立了新穎的圖像質(zhì)量客觀評價體系與方法，探索了圖像質(zhì)量評價領(lǐng)域的未來研究方向。
　　具體而言，本文所提方法與主要貢獻如下：
　　1）提出了一種基于模糊分類的部分參考型圖像質(zhì)量評價方法。通過引入人類對圖像質(zhì)量感知的定性評價準則，結(jié)合模糊集合理論，針對通信系統(tǒng)特定應(yīng)用環(huán)境，本章提出了一種快速、有效的部分參考型圖像質(zhì)量評價方法。該方法將圖像質(zhì)量空間等分為若干模糊集合，借助小波域自然場景統(tǒng)計特征

4、，訓練基于人工神經(jīng)網(wǎng)絡(luò)的模糊分類器。待測圖像質(zhì)量得分由模糊集合及其對應(yīng)隸屬度去模糊求得。在通用數(shù)據(jù)庫上充分的實驗結(jié)果驗證了該方法的有效性與準確性，并且與同類典型方法相比具有一定優(yōu)越性。
　　2）提出了一種基于深度學習網(wǎng)絡(luò)的無參考型圖像質(zhì)量評價方法。人類視覺系統(tǒng)具有典型的深度層級結(jié)構(gòu)，因而產(chǎn)生復雜的非線性映射。傳統(tǒng)機器學習理論受限于學習層數(shù)過少，無法準確刻畫高度的非線性結(jié)構(gòu)，因此在建模人類視覺系統(tǒng)上捉襟見肘。本章結(jié)合深度學習網(wǎng)絡(luò)，探

5、索了圖像質(zhì)量的自然語言定性描述規(guī)則，建立了統(tǒng)一的深度學習圖像質(zhì)量評價模型。具體而言，利用小波域自然場景統(tǒng)計特征，待測圖像經(jīng)由判別性深度學習網(wǎng)絡(luò)被分為“優(yōu)秀”、“好”、“良”、“差”以及“極差”五類。結(jié)合貝葉斯理論，創(chuàng)新地設(shè)計了圖像質(zhì)量綜合模塊，得到了包括圖像質(zhì)量定性描述、定量評價以及質(zhì)量分布的圖像質(zhì)量分層描述規(guī)則以迎合不同應(yīng)用場合需求。實驗證明其性能優(yōu)于同類經(jīng)典方法，同時驗證了基于分類的質(zhì)量評價模型較基于回歸的方法具有更好的小樣本魯棒性

6、以及建模人類感知的合理性。
　　3）提出了一種基于信息散度的視覺顯著性檢測方法服務(wù)于后續(xù)質(zhì)量評價研究。視覺顯著性檢測通過有效降低視覺冗余信息、強調(diào)視覺重要區(qū)域從而改變?nèi)祟愐曈X質(zhì)量感知結(jié)果?；谛畔⒉町悓е乱曈X顯著性這一假設(shè)，本章設(shè)計了信息散度針對信息差異的描述規(guī)則，提出了一種有效的兩步法框架用于視覺顯著性檢測。其中，首先利用獨立成分分析，結(jié)合高斯差分濾波，有效地獲得圖像的稀疏特征；其次，結(jié)合貝葉斯驚奇模型分析計算圖像的信息散度，進

7、而得到圖像的顯著性度量。多種數(shù)據(jù)庫上的大量實驗結(jié)果表明此方法較同類典型方法具有更好的主客觀一致性。
　　4）提出了一種視覺顯著性引導的無參考型圖像質(zhì)量深度評價方法。受視覺注意機制影響人類質(zhì)量感知啟發(fā)，本章結(jié)合了信息散度視覺注意模型和圖像質(zhì)量深度學習網(wǎng)絡(luò)模型，提出了一種統(tǒng)一、有效的無參考型圖像質(zhì)量評價模型。首先，利用視覺顯著性加權(quán)的小波域自然場景統(tǒng)計特征訓練深度學習質(zhì)量評價網(wǎng)絡(luò)；分類結(jié)果連同置信概率輸入基于貝葉斯理論的圖像質(zhì)量綜合模

8、塊；最終輸出圖像質(zhì)量分層描述結(jié)果。實驗驗證了所提方法在通用數(shù)據(jù)庫上的有效性，證實了視覺注意的引入對圖像質(zhì)量評價的促進作用。
　　5）提出了一種視覺顯著性引導的圖像質(zhì)量特征學習方法?，F(xiàn)有圖像質(zhì)量評價模型大多手動設(shè)計與微調(diào)圖像質(zhì)量特征，其費時費力且極大限制了圖像質(zhì)量評價方法的靈活性與適用性。為解決這一問題，本章提出了一種視覺顯著性引導的無監(jiān)督質(zhì)量特征學習方法。具體而言，首先利用信息散度檢測視覺顯著區(qū)域；進而結(jié)合獨立成分分析，設(shè)計了圖像

9、質(zhì)量特征的全局編碼方法。所得特征用于無參考型圖像質(zhì)量深度評價方法，在通用數(shù)據(jù)庫上取得了與典型方法相當?shù)脑u價性能，驗證了該特征學習方法對圖像質(zhì)量編碼與表示的有效性。
　　本文通過探索基于人類感知和視覺計算的圖像質(zhì)量評價模型以及相關(guān)領(lǐng)域的研究方法，嘗試回答計算機視覺領(lǐng)域的基本問題之一：人類是如何“看”的。通過跨學科地結(jié)合神經(jīng)心理學、生理學、機器學習等領(lǐng)域最新研究成果，本文所涉及方法，從部分參考型圖像質(zhì)量評價，到無參考型質(zhì)量評價模型，進