面向檢索的圖像深度表示和編碼.pdf

1、隨著移動互聯(lián)網(wǎng)時代的到來和多媒體技術不斷快速的發(fā)展，互聯(lián)網(wǎng)上擁有著以圖像為代表的海量多媒體數(shù)據(jù)，并且每天都在快速增加著。而在互聯(lián)網(wǎng)上對于這些海量的圖像數(shù)據(jù)，通常的做法是將其轉(zhuǎn)化為二進制比特流來進行存儲以便節(jié)約存儲空間。而對于互聯(lián)網(wǎng)上的一個重要的圖像數(shù)據(jù)使用場景:基于內(nèi)容的圖像檢索(Content Based Image Retrieval，CBIR)，常見的做法也是提取圖像特征向量，將特征向量轉(zhuǎn)化為二進制比特流并存儲。這兩部分產(chǎn)生的碼字

2、分別存儲，在多媒體數(shù)據(jù)量爆炸的今天，需要消耗大量的系統(tǒng)計算和存儲資源。圖像壓縮部分和圖像特征可以使用同一套碼字嗎？如果可以使用相同的碼字來實現(xiàn)碼字復用的話，在海量數(shù)據(jù)的背景下，可以節(jié)約大量的系統(tǒng)計算和存儲資源的消耗。
　　對于圖像壓縮而言，存在很多例如標準JPEG等的經(jīng)典圖像壓縮標準。這些壓縮的方式是保留圖像中的主要信息量而丟棄圖像中的那些相對不重要的信息量，從而實現(xiàn)圖像壓縮的目的。圖像檢索亦然，提取出的圖像特征向量也是保存著圖像

3、的主要信息量，因此可以用于檢索這一任務。既然雙方的工作都是提取圖像的主要信息，并將其使用二進制比特進行存儲。那么存儲兩種信息量之間必然存在一定的信息冗余，如何減少甚至消除兩者之間存在的信息冗余，減少對于存儲的二進制碼字所需要的系統(tǒng)資源消耗，是本研究的目的。
　　衡量信息冗余是否被消除的方式有兩種:一種是在工作性能沒有降低的情況下，編碼出的碼流大小小于單獨壓縮碼流和特征碼流之和;另一種則是在編碼碼流大小等于單獨壓縮和特征碼流之和時，

4、提升了碼流的工作性能。在本研究中我們選擇了第二種衡量方式作為研究目的和實驗方法。為了解決該問題，我們提出了一種統(tǒng)一的圖像深度編碼方式。針對互聯(lián)網(wǎng)上典型的基于內(nèi)容的圖像檢索場景，圖像搜索引擎，壓縮和恢復的對象都是小尺度縮略圖。使用深度神經(jīng)網(wǎng)絡對輸入的圖像進行編碼，使得編碼出的碼字在既可以重建出原縮略圖像的情況下，也能直接的被用于圖像檢索。檢索時不同圖像之間的相似度使用二進制碼字間的漢明距離來定義。這樣得到的編碼系統(tǒng)實現(xiàn)了碼字的復用，從而減

5、少了圖像壓縮與檢索兩者之間的信息冗余。
　　首先我們訓練一個可以用于縮略圖壓縮的卷積神經(jīng)網(wǎng)絡編碼器，其將縮略圖壓縮為二進制比特流，并且可以通過解碼器將這些二進制比特流解壓恢復出原縮略圖。接著我們會訓練一個用來提取圖像特征的深度神經(jīng)網(wǎng)絡，并將特征加以量化。量化后的二進制特征一方而可以以二進制比特的方式存儲，另一方面也可以用于圖像檢索。然后我們將兩部分的網(wǎng)絡加以結(jié)合，使用基于內(nèi)容的圖像檢索中的三元組圖像數(shù)據(jù)對網(wǎng)絡進行參數(shù)微調(diào)，使得兩部

6、分產(chǎn)生的整體碼寧均使用到圖像檢索的工作中。
　　在相關的實驗測試中，對于圖像壓縮部分，我們訓練的統(tǒng)一編碼系統(tǒng)可以將32×32×3的縮略圖壓縮至壓縮比5.3，與標準JPEG相比，在恢復重建效果相當時，壓縮效率高于標準JPEG。而在基于內(nèi)容的圖像檢索的實驗中，統(tǒng)一的編碼系統(tǒng)得到的碼字檢索效果優(yōu)于僅僅使用圖像特征提取器得到的二進制特征向量。這樣在沒有使用額外碼字空間的情況下，提升了在圖像檢索方面的效果，相對而言減少了圖像壓縮與檢索兩者之