圖像超分辨率綜述及應(yīng)用

1、圖像超分辨率圖像超分辨率ImageImageSuperSuperResolutionResolution概述概述圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像。圖像超分辨率技術(shù)分為超分辨率復(fù)原和超分辨率重建。目前，圖像超分辨率研究可分為3個(gè)主要范疇：基于插值、基于重建和基于學(xué)習(xí)的方法超分辨率超分辨率(SuperResolution)(SuperResolution)即通過(guò)硬件或軟件的方法提高原有圖像的分辨率，通過(guò)一系列低

2、分辨率的圖像來(lái)得到一幅高分辨率的圖像過(guò)程就是超分辨率重建。超分辨率重建的核心思想就是用時(shí)間帶寬用時(shí)間帶寬(獲取同一場(chǎng)景的多幀圖像序列獲取同一場(chǎng)景的多幀圖像序列)換取空間分辨率換取空間分辨率實(shí)現(xiàn)時(shí)間實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。分辨率向空間分辨率的轉(zhuǎn)換。超分辨率圖像重建綜述超分辨率圖像重建綜述超分辨率圖像重建超分辨率圖像重建(SuperResolution(SuperResolutionImageImageReconstruction

3、)Reconstruction)在大量的電子圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率（簡(jiǎn)稱HR）圖像。高分辨率高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。例用中不可或缺。例如，高分辨率醫(yī)療圖像對(duì)于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對(duì)象；如果能夠提供高分辨的圖像，計(jì)算機(jī)視覺(jué)中的模式

4、識(shí)別的性能就會(huì)大大提高。自從上世紀(jì)七十年代以來(lái)，電荷耦合器件(CCD)、CMOS圖像傳感器已被廣泛用來(lái)捕獲數(shù)字圖像。盡管對(duì)于大多數(shù)的圖像應(yīng)用來(lái)說(shuō)這些傳感器是合適的，但是當(dāng)前的分辨率水平和消費(fèi)價(jià)格不能滿足今后的需求。例如，人們希望得到一個(gè)便宜的高分辨率數(shù)碼相機(jī)便攜式攝像機(jī)，或者期望其價(jià)格逐漸下降；科學(xué)家通常需要一個(gè)非常高的接近35毫米模擬膠片的分辨率水平，這樣在放大一個(gè)圖像的時(shí)候就不會(huì)有可見(jiàn)的瑕疵。因此，尋找一種增強(qiáng)當(dāng)前分辨率水平的方法是

5、非常必須的。增加空間分辨率最直接的解決方法就是通過(guò)傳感器制造技術(shù)減少像素增加空間分辨率最直接的解決方法就是通過(guò)傳感器制造技術(shù)減少像素尺寸（例如增加每單元面積的像素?cái)?shù)量）。然而，隨著像素尺寸的減少，光通尺寸（例如增加每單元面積的像素?cái)?shù)量）。然而，隨著像素尺寸的減少，光通量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴(yán)重惡化。不受散粒噪聲的量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴(yán)重惡化。不受散粒噪聲的影響而減少像素的尺寸有一個(gè)極限，對(duì)于

6、影響而減少像素的尺寸有一個(gè)極限，對(duì)于0.350.35微米的微米的CMOSCMOS處理器，像素的理處理器，像素的理想極限尺寸大約是想極限尺寸大約是4040平方微米。平方微米。當(dāng)前的圖像傳感器技術(shù)大多能達(dá)到這個(gè)水平。在許多高分辨率圖像的商業(yè)應(yīng)用領(lǐng)域，高精度光學(xué)和圖像傳感器的高價(jià)格也是一個(gè)必須考慮的重要因素。因此，有必要采用一種新的方法來(lái)增加空間分辨率，從而克服傳感器和光學(xué)制造技術(shù)的限制。一種很有前途的方法就是采一種很有前途的方法就是采用信號(hào)

7、處理的方法從多個(gè)可觀察到的低分辨率（簡(jiǎn)稱用信號(hào)處理的方法從多個(gè)可觀察到的低分辨率（簡(jiǎn)稱LRLR）圖像得到高分辨率圖）圖像得到高分辨率圖像。像。最近這樣的一種分辨率增強(qiáng)技術(shù)正成為最熱的研究領(lǐng)域之一，在文獻(xiàn)中人們把它叫超分辨率（簡(jiǎn)稱SR或者HR）圖像復(fù)原或者簡(jiǎn)單地叫做分辨率增強(qiáng)。本文中我們用“超分辨率圖像復(fù)原”這個(gè)術(shù)語(yǔ)來(lái)指分辨率增強(qiáng)的信號(hào)處理方法，因?yàn)樵诳朔头直媛蕡D像系統(tǒng)固有的分辨率限制方面，“超分率”術(shù)語(yǔ)中的“超”字代表了一個(gè)非常好的技

8、術(shù)特性。信號(hào)處理方法最大的好處就是它的成本低，同時(shí)現(xiàn)存的低分辨率圖像系統(tǒng)仍能使用。在許多實(shí)際應(yīng)用中，特別是在醫(yī)療圖像、衛(wèi)星圖像和視頻等領(lǐng)域，同樣場(chǎng)景的多幀低分辨率圖像很容易得像，而是對(duì)真實(shí)高分辨率圖像的某種估計(jì)，因而通常稱所獲得的圖像為超分辨像，而是對(duì)真實(shí)高分辨率圖像的某種估計(jì)，因而通常稱所獲得的圖像為超分辨率圖像，相應(yīng)處理過(guò)程為超分辨率圖像重建率圖像，相應(yīng)處理過(guò)程為超分辨率圖像重建.2、超分辨率重建技術(shù)應(yīng)用(1)生物醫(yī)學(xué)成像:核磁共振

9、成像等；(2)衛(wèi)星成像：遙感、遙測(cè)、軍事偵察等；(3)視頻監(jiān)控(4)視頻格式轉(zhuǎn)換(5)視頻增強(qiáng)和復(fù)原：老舊電影的翻制等；(6)顯微成像、虛擬現(xiàn)實(shí)等3、降質(zhì)模型圖像的超分辨率重建是建立在圖像降質(zhì)的數(shù)學(xué)模型基礎(chǔ)上的建立在圖像降質(zhì)的數(shù)學(xué)模型基礎(chǔ)上的，降質(zhì)的數(shù)學(xué)模型反映圖像降質(zhì)的因素，才能用數(shù)學(xué)方法進(jìn)行處理，重建圖像重建圖像。(1)位移—模糊模型(2)模糊—位移模型4、超分辨率涉及的兩個(gè)問(wèn)題：a)圖像修復(fù)改良光照不均勻、噪聲較多的圖像，但是不改

10、變圖像大小b)b)圖像插值圖像插值改變圖像大小，對(duì)單張圖像進(jìn)行差值并不屬于超分辨率重建技術(shù)改變圖像大小，對(duì)單張圖像進(jìn)行差值并不屬于超分辨率重建技術(shù)5、基于重建的超分辨率技術(shù)(1)頻域方法通過(guò)在頻率域消除頻譜而改善圖像的空間分辨率?；诟道锶~變換的移位特性；(TsaiHuang)考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)和噪聲的影響；（Tekalp）估計(jì)幀間整體平移參數(shù)的解算方法；(KaltenbackerHardie)用遞歸最小二乘對(duì)對(duì)Tsai公式中的混

11、疊矩陣進(jìn)行求解。由于頻率域方法只能應(yīng)用于全局平移和線性空間不變降質(zhì)模型，并且它對(duì)空間域先驗(yàn)的能力不足，缺少靈活性，所以目前這類方法已經(jīng)不再是研究的熱點(diǎn)。(2)空域方法非均勻樣本內(nèi)插法（Nonunifminterpolation）；迭代反投影方法（IterativeBackProjectionIBP）凸影投影法（ProjectionontoConvexSetPOCS）最大后驗(yàn)概率估計(jì)（MaximumaPosteriiMAP）混合MapPO