畢業(yè)論文-圖像超分辨算法的研究與實(shí)現(xiàn)——圖像重構(gòu)【精校排版】

1、<p>　　本科畢業(yè)設(shè)計(jì)（論文）</p><p><b>　?。?0 屆）</b></p><p>　　圖像超分辨算法的研究與實(shí)現(xiàn)——圖像重構(gòu)</p><p><b>　　目 錄</b></p><p><b>　　摘 要III</b></p>&

2、lt;p>　　AbstractIV</p><p><b>　　第一章 概述1</b></p><p>　　1.1 超分辨重建的主要概念1</p><p>　　1.2圖像超分辨重建技術(shù)的發(fā)展歷史1</p><p>　　1.3圖像超分辨重建的應(yīng)用領(lǐng)域2</p><p>　　第二章

3、圖像超分辨率問(wèn)題模型和常用解法3</p><p>　　2.1 問(wèn)題描述與定義3</p><p>　　2.1.1 分辨率3</p><p>　　2.1.2圖像的數(shù)字化3</p><p>　　2.1.3 成像系統(tǒng)的數(shù)學(xué)描述與圖像重建原理分析4</p><p>　　2.1.4 圖像降質(zhì)4</p>&

4、lt;p>　　2.1.5 超分辨重建問(wèn)題的定義5</p><p>　　2.2 超分辨數(shù)字模型的建立5</p><p>　　2.3 圖像超分辨重建方法5</p><p>　　2.3.1 頻域方法6</p><p>　　2.3.2空域方法7</p><p>　　2.3.3其他方法7</p>

5、<p>　　第三章 圖像內(nèi)插常用算法介紹8</p><p>　　3.1 最近鄰插值8</p><p>　　3.2雙線性插值8</p><p>　　3.3雙三次插值10</p><p>　　3.4高階插值11</p><p>　　第四章 基于插值的超分辨重建14</p><p

6、>　　4.1 重建流程14</p><p>　　4.2 Keren配準(zhǔn)16</p><p><b>　　參考文獻(xiàn)20</b></p><p><b>　　致 謝21</b></p><p>　　圖像超分辨算法研究與實(shí)現(xiàn)——圖像重構(gòu)</p><p><b

7、>　　摘 要</b></p><p>　　超分辨率圖像重構(gòu)的目的在于復(fù)原截止頻率之外的信息,以使圖像獲得更多的細(xì)節(jié)和信息。在傳統(tǒng)的圖像復(fù)原問(wèn)題中,只有一幀輸入圖像。超分辨率圖像重構(gòu)的概念可以簡(jiǎn)單的理解為利用一組低分辨率的圖像序列重構(gòu)出一幀(或多幀)較高分辨率圖像。對(duì)于一段場(chǎng)景變換不大的圖像序列來(lái)說(shuō),這一組圖像具有相似但不完全相同的信息,使重構(gòu)成為可能。目前,超分辨率重構(gòu)技術(shù)在遙感、軍事、公共安全

8、、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、多媒體電子消費(fèi),圖像壓縮等領(lǐng)域得到了廣泛應(yīng)用。正因?yàn)槿绱?超分辨率圖像重構(gòu)近年來(lái)已成為國(guó)際上圖像復(fù)原領(lǐng)域最為活躍的研究課題,國(guó)內(nèi)對(duì)超分辨率重構(gòu)技術(shù)的研究起步較晚,但這一技術(shù)在近幾年也逐漸成為一個(gè)新的研究熱點(diǎn)。本文首先對(duì)超分辨率圖像重構(gòu)的發(fā)展歷程和超分辨率圖像重構(gòu)的頻域及空域的各種算法進(jìn)行了介紹,并分析和比較了各種算法的優(yōu)缺點(diǎn)。觀測(cè)模型的建立和圖像配準(zhǔn)(運(yùn)動(dòng)估計(jì))是超分辨率圖像重構(gòu)的關(guān)鍵環(huán)節(jié)。因此,本文接著建立了超

9、分辨率圖像成像的觀測(cè)模型,對(duì)圖像配準(zhǔn)的原理、分類以及具體方法進(jìn)行詳細(xì)的介紹并在MATLAB6.1平臺(tái)上對(duì)基于圖像灰度的圖像配準(zhǔn)和傅立葉圖像配準(zhǔn)方法進(jìn)行實(shí)驗(yàn),比較分析兩種方法的優(yōu)缺點(diǎn)。圖像超分辨率重建算法可</p><p>　　關(guān)鍵詞 ：超分辨率； 圖像配準(zhǔn)； 圖像插值；圖像重構(gòu) </p><p>　　Image super resolution algorithms and impleme

10、ntation </p><p>　　- image reconstruction </p><p><b>　　Abstract</b></p><p>　　Super-resolution reconstruction is to reconstruct a high resolution image beyond its cut-off

11、frequency with more details and message. The traditional image reconstruction methods use a low resolution image. Super-resolution reconstruction can reconstruct a frame of image with high resolution by using low resolut

12、ion images which have strong relationship between each other.So far, the technology of Super-resolution image reconstruction has been extensively applied to remote sensing, military, publ</p><p>　　Keywords：

13、Super-resolution，image registration，interpolation，Image reconstruction </p><p><b>　　第一章 概述 </b></p><p>　　1.1 超分辨重建的主要概念</p><p>　　超分辨率(Super Resolution)是去除由成像系統(tǒng)造成的模糊(散焦

14、模糊、運(yùn)動(dòng)模糊、欠采樣等)以及重建超出光學(xué)系統(tǒng)衍射極限之外的空問(wèn)頻率信息[1][2]。</p><p>　　在數(shù)字圖像的采集與處理過(guò)程中，有許多因素會(huì)導(dǎo)致圖像分辨率的下降，其主要表現(xiàn)為模糊、噪聲和變形。造成模糊的因素有很多，如傳感器的形狀和尺寸、光學(xué)部件的性能（如點(diǎn)擴(kuò)散函數(shù)PSF）引起的光學(xué)模糊以及采集對(duì)象的運(yùn)動(dòng)帶來(lái)的運(yùn)動(dòng)模糊。另外，在成像、傳輸、存儲(chǔ)過(guò)程中，會(huì)引入不同類型的噪聲，如高斯噪聲、椒鹽噪聲等，而且噪聲

15、的引入方式也不同，或?yàn)榧有栽肼?、或?yàn)槌诵栽肼?，這些都會(huì)直接影響到圖像的分辨率。此外，數(shù)字化采集過(guò)程也會(huì)影響圖像的分辨率，欠采樣效應(yīng)會(huì)造成圖像的頻譜交疊，使獲取的圖像因變形效應(yīng)而發(fā)生降質(zhì)。</p><p>　　視頻圖像重建是指：由于光學(xué)模糊(包括線性運(yùn)動(dòng)或散焦模糊)會(huì)造成視頻圖像的退化，而對(duì)這些退化的視頻圖像進(jìn)行的空間(圖像)去模糊操作。一個(gè)物點(diǎn)(object point)在若干圖像像素上擴(kuò)散時(shí)就會(huì)呈現(xiàn)光模糊，造成

16、這種現(xiàn)象的原因可能是由于目標(biāo)和攝像機(jī)之間的相對(duì)運(yùn)動(dòng)，或者是由于散焦成像。物點(diǎn)空間擴(kuò)散的范圍是由成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(PSF)決定的[4]。</p><p>　　超分辨率重建技術(shù)是由低分辨率圖像序列來(lái)估計(jì)一幅(或一個(gè)圖像序列)較高分辨率的圖像。同時(shí)還能夠消除加性噪聲以及由有限檢測(cè)器尺寸和光學(xué)元件產(chǎn)生的模糊。它是圖像融合領(lǐng)域中的一個(gè)重要分支。</p><p>　　1.2 圖像超分辨重建技術(shù)的

17、發(fā)展歷史</p><p>　　圖像超分辨率重建技術(shù)通?？梢苑譃閮纱箢悾?jiǎn)螏瑘D像重建(靜態(tài)圖像插值)方法和多幀圖像重建(序列圖像重建)方法。</p><p>　　超分辨率圖像重建技術(shù)于1960 年代由Harris 和Goodman 最初以單張圖像復(fù)原的概念和方法提出。1980 年代初，Tsai&Huang 首先提出了基于序列或多幀圖像的超分辨率重建問(wèn)題，并給出了基于頻域的逼近的方法。

18、1980 年代后期，隨著計(jì)算機(jī)、電子、信號(hào)處理技術(shù)以及一些優(yōu)化理論的發(fā)展，人們?cè)诔直媛蕡D像重建方法研究上取得了突破性進(jìn)展。 為了增加利用圖像的信息，人們逐漸將研究熱點(diǎn)轉(zhuǎn)向多幀圖像重建。多幀圖像重建充分利用了不同幀圖像之問(wèn)類似而又相異的信息，其超分辨率復(fù)原能力好于利用單幀圖像進(jìn)行復(fù)原所獲得的超分辨率能力。主要的重建方法可以分為兩大類：頻率域方法和空問(wèn)域方法。</p><p>　　1.3 圖像超分辨重建的

19、應(yīng)用領(lǐng)域</p><p>　　由于超分辨率重建技術(shù)在一定條件下，可以克服圖像系統(tǒng)內(nèi)在分辨率的限制，提高被處理圖像的分辨率，因而在視頻、遙感、醫(yī)學(xué)和安全監(jiān)控等領(lǐng)域具都有十分重要的應(yīng)用[2]。例如：</p><p>　?。?）在數(shù)字電視（DTV）向高清晰度電視（HDTV）過(guò)度階段，僅有部分電視節(jié)目會(huì)以HDTV的形式播出，不少節(jié)目采用的是DTV 的形式。因此，可以利用超分辨率重建技術(shù)將DTV信號(hào)

20、轉(zhuǎn)化為與HDTV接收機(jī)相匹配的信號(hào)，提高電視節(jié)目的兼容性；</p><p>　?。?）在采集軍事與氣象遙感圖像時(shí)，由于受到成像條件與成像系統(tǒng)分辨率的限制，不可能獲得清晰度很高的圖像, 而通過(guò)利用超分辨率重建技術(shù)，在不改變衛(wèi)星圖像探測(cè)系統(tǒng)的前提下，可實(shí)現(xiàn)高于系統(tǒng)分辨率的圖像觀測(cè)；</p><p>　?。?）在醫(yī)學(xué)成像系統(tǒng)中（如CT、MRI和超聲波儀器等），可以用超分辨率重建技術(shù)來(lái)提高圖像質(zhì)量

21、，對(duì)病變目標(biāo)進(jìn)行仔細(xì)地檢測(cè)；</p><p>　?。?）在銀行、證劵等部門(mén)的安全監(jiān)控系統(tǒng)中，當(dāng)有異常情況發(fā)生后，可對(duì)監(jiān)控錄像進(jìn)行超分辨率重建，提高圖像要害部分的分辨率，從而為事件的處理提供重要的線索；</p><p>　?。?）可以將超分辨率重建技術(shù)用于圖像壓縮。平時(shí)存儲(chǔ)或傳輸?shù)头直媛实膱D像信息，當(dāng)有不同需要時(shí)，再利用超分辨率重構(gòu)技術(shù)獲得不同分辨率的圖像和視頻。</p>&l

22、t;p>　　第二章 圖像超分辨率問(wèn)題模型和常用解法</p><p>　　圖像超分辨重建技術(shù)的基本思想是在現(xiàn)有成像系統(tǒng)的前提下，采取某種軟件技術(shù)方法突破其成像技術(shù)極限以獲取更高空間分辨率的圖像，其目的就是對(duì)低分辨率的降質(zhì)圖像或序列進(jìn)融合．產(chǎn)生一幅高分辨率的圖像或者高分辨率的圖像序列．消除頻譜混疊，重建截止頻率之外的信息，使圖像的細(xì)節(jié)信息更豐富。常用方法有：數(shù)學(xué)模型的建立；頻域算法；空預(yù)算法 </p&

23、gt;<p>　　2.1 問(wèn)題描述與定義</p><p>　　2.1.1 分辨率</p><p>　　分辨率就是屏幕圖像的精密度，是指顯示器所能顯示的像素的多少。由于屏幕上的點(diǎn)、線和面都是由像素組成的，顯示器可顯示的像素越多，畫(huà)面就越精細(xì)，同樣的屏幕區(qū)域內(nèi)能顯示的信息也越多，所以分辨率是個(gè)非常重要的性能指標(biāo)之一?？梢园颜麄€(gè)圖像想象成是一個(gè)大型的棋盤(pán)，而分辨率的表示方式就是

24、所有經(jīng)線和緯線交叉點(diǎn)的數(shù)目。 </p><p>　　圖像的分辨率簡(jiǎn)單來(lái)說(shuō)就是成像系統(tǒng)列圖像細(xì)節(jié)的分辨能力，也是圖像中目標(biāo)細(xì)微程度的指標(biāo)。它表示景物信息的詳細(xì)程度．系統(tǒng)的仃環(huán)節(jié)都可能對(duì)圖像的最終分辨率造成影響。本文討論的數(shù)字圖像的空間分辨率是圖像的重要參數(shù)，也是圖像質(zhì)量砰價(jià)的關(guān)鍵指標(biāo)。</p><p>　　影響圖像空間分辨率的因素有：被觀察景物的對(duì)比度、形狀、數(shù)目及成像系統(tǒng)的鏡頭、瞬間現(xiàn)場(chǎng)、

25、輻射光波長(zhǎng)、成像孔徑、成像姿態(tài)等。但最基本的是由光的衍射決定的分辨極限、成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)、信噪比三個(gè)方面。</p><p>　　2.1.2 圖像的數(shù)字化</p><p>　　為了用計(jì)算機(jī)來(lái)處理，圖像必須用適當(dāng)?shù)碾x散數(shù)據(jù)結(jié)構(gòu)來(lái)表達(dá)，依據(jù)信號(hào)處理理論中的香農(nóng)采樣定理(Shannon Sampling Theorem)，2U,2V稱為奈奎斯特采樣率(Nyquist rate)。在圖像分析中

26、該定理的一個(gè)簡(jiǎn)單的物理解釋是，采樣頻率必須大于奈奎斯特采樣率，在空域，采樣間隔應(yīng)該比圖像中感興趣的最小細(xì)節(jié)的尺寸的一半還要小。實(shí)際數(shù)字圖像的采樣就是因?yàn)檫_(dá)不到奈奎斯特采樣率而使圖像的頻譜產(chǎn)生混疊，這是圖像分辨率損失的一個(gè)重要原因。</p><p>　　2.1.3 成像系統(tǒng)的數(shù)學(xué)描述與圖像重建原理分析</p><p>　　設(shè)物函數(shù)為f(x，y)，成像系統(tǒng)用符號(hào)I[*]表示，像函數(shù)為如g(x

27、,y)，則物和像的映射關(guān)系可以表示為：</p><p>　　g(x，y)=I[f(x，y)] (2.1)</p><p><b>　　(2.2) </b></p><p>　　其中G(u)，F(xiàn)(u),H(u)分別表示g(u),f(u),h(u)的傅里葉變化，由于截止頻率之外H（u)=0，因此要想復(fù)原截止

28、頻率之外的信息，無(wú)論從理論上還是實(shí)際概念上都是不可能的。</p><p>　　解析延拓理論:如果一個(gè)函數(shù)f(x)是空域有界的(即在某個(gè)有限范圍之外全為o)，則其譜函數(shù)F(u)是一個(gè)解析函數(shù)。</p><p>　　信息疊加理論:對(duì)于非相干成像，實(shí)際的圖像應(yīng)具備以下約束條件和性質(zhì)：非負(fù)性和有界性</p><p><b>　　(2.3)</b><

29、;/p><p>　　非線性運(yùn)算:考慮到噪聲對(duì)成像過(guò)程的影響，一般成像過(guò)程由下式表示：</p><p><b>　　(2.4)</b></p><p>　　2.1.4 圖像降質(zhì)</p><p>　　產(chǎn)生圖像降質(zhì)的因素很多，如光學(xué)系統(tǒng)的象差、成象過(guò)程的相對(duì)運(yùn)動(dòng)、X射線的散布特性、各種外界因素的干擾以及噪聲等等[7][8]。本章

30、討論的只是點(diǎn)降質(zhì)和空間降質(zhì)二種。所謂點(diǎn)降質(zhì)是降質(zhì)因素只影響圖像中象素的灰度級(jí)變化，而空間降質(zhì)是降質(zhì)因素引起空間模糊，這二種降質(zhì)一般可用數(shù)學(xué)上的降質(zhì)模型來(lái)描述。產(chǎn)生圖像降質(zhì)的一個(gè)復(fù)雜因素是隨機(jī)噪聲問(wèn)題，在形成數(shù)字圖像過(guò)程中，噪聲會(huì)不可避免地加進(jìn)來(lái)。我們?cè)诳紤]有噪聲情況下的圖像復(fù)原問(wèn)題，就必須知道噪聲的統(tǒng)計(jì)特性以及噪聲和圖像信號(hào)的相關(guān)情況，這是非常復(fù)雜的。</p><p>　　圖像的超分辨率重建的目的是消除卷積因素造

31、成的圖像降質(zhì)。因此，重建的結(jié)果應(yīng)能改善圖像的分辨率。另一方面，由于反卷積問(wèn)題病態(tài)和觀測(cè)圖像含有噪聲，因此必須在改善分辨率和噪聲抑制之間進(jìn)行折衷。</p><p>　　2.1.5 超分辨重建問(wèn)題的定義</p><p>　　超分辨率重建是數(shù)字圖像處理的一個(gè)重要研究方向，也是近年來(lái)的研究熱門(mén)，它是指利用多幀低分辨率圖像，通過(guò)一定的重建算法得到高分辨率圖像。 一般，可把SRR算法分為基于重建和基

32、于學(xué)習(xí)兩類，基于重建的算法如POCS、MAP等利用一些先驗(yàn)知識(shí)來(lái)約束求解過(guò)程，以達(dá)到增加細(xì)節(jié)信息的目的；基于學(xué)習(xí)的算法首先需要學(xué)習(xí)高低分辨率圖像之間的非線性降質(zhì)關(guān)系，然后再根據(jù)這種降質(zhì)關(guān)系恢復(fù)高分辨率圖像。 </p><p>　　2.2 超分辨數(shù)字模型的建立</p><p><b>　　由公式</b></p><p><b>　　(

33、2.5)</b></p><p>　　所確定的退化模型，可知要從低分辨率圖像重構(gòu)高分辨率圖像，必須首先確定退化矩陣以及系統(tǒng)噪聲E的形式，然后再選擇合適的重構(gòu)算法求取最優(yōu)的高分辨率圖像，據(jù)此可以將圖像超分辨率重構(gòu)分解成三個(gè)功能</p><p>　　相互獨(dú)立的模塊：1．運(yùn)動(dòng)參數(shù)估計(jì)，2．圖像及噪聲分布形式，3．圖像插值重</p><p><b>　

34、　如圖下圖所示：</b></p><p>　　圖2.1 系統(tǒng)參數(shù)估計(jì)</p><p>　　2.3 圖像超分辨重建方法</p><p>　　超分辨率圖像重建技術(shù)于1960 年代由Harris 和Goodman 最初以單張圖像復(fù)原的概念和方法提出。1980 年代初，Tsai&Huang 首先提出了基于序列或多幀圖像的超分辨率重建問(wèn)題，并給出了基于

35、頻域的逼近的方法[4]。1980 年代后期，隨著計(jì)算機(jī)、電子、信號(hào)處理技術(shù)以及一些優(yōu)化理論的發(fā)展，人們?cè)诔直媛蕡D像重建方法研究上取得了突破性進(jìn)展。超分辨率重建方法主要可以分為兩類：頻率域方法和空間域方法。頻率域方法起步較早，但目前應(yīng)用得較多的是空間域方法。</p><p>　　2.3.1 頻域方法</p><p>　　頻域方法主要基于三個(gè)基本的準(zhǔn)則：傅里葉變換的平移特性；連續(xù)傅里葉變換

36、(CFT)和離散傅里葉變換(DFT)之問(wèn)的變換關(guān)系；原始場(chǎng)景是有限帶寬的。這些性質(zhì)使得可以利用一個(gè)等式系統(tǒng)把低分辨率圖像的DFT系數(shù)與未知場(chǎng)景的</p><p>　　CFT采樣聯(lián)系起來(lái)，求解這些等式以產(chǎn)生原始場(chǎng)景的頻率域系數(shù)，然后通過(guò)DFT逆變換進(jìn)行復(fù)原。</p><p>　　頻域率法利用相位差來(lái)實(shí)現(xiàn)圖像配準(zhǔn)，通過(guò)兩副圖像的相位相關(guān)性可獲得與頻率相關(guān)的噪聲的特性。大多數(shù)頻率域的方法基于這樣

37、的事實(shí)[6]: 兩幅相對(duì)平移的圖像在頻率域上表現(xiàn)為相位的移動(dòng), 兩者相位相關(guān)性就可以估計(jì)平移值。</p><p>　　頻域方法實(shí)際上是在頻域內(nèi)解決圖像內(nèi)插問(wèn)題，其觀察模型是基于傅里葉變換的移位特性。頻域方法理論簡(jiǎn)單，運(yùn)算復(fù)雜度低，很容易實(shí)現(xiàn)并行處理，具有直觀的去變形超分辨率機(jī)制。但這類方法的缺點(diǎn)是所基于的理論前提過(guò)于理想化，不能有效地應(yīng)用于多數(shù)場(chǎng)合，只能局限于全局平移運(yùn)動(dòng)和線性空間不變降質(zhì)模型，包含空域先驗(yàn)知識(shí)的

38、能力有限。 </p><p>　　頻域超分辨率圖像重建算法作為一種超分辨率方法的研究方向與空間域方法相比有其優(yōu)缺點(diǎn)：</p><p><b>　　優(yōu)點(diǎn)：</b></p><p><b>　　理論的簡(jiǎn)易性。</b></p><p>　　頻域方法所依賴的基本原理是基于傅里葉變換理論的，因此較為熟悉。盡管

39、在算</p><p>　　實(shí)現(xiàn)上可能存在一些復(fù)雜性，然而基本原理是很容易理解的。較低的計(jì)算復(fù)雜度。</p><p>　　頻域技術(shù)的計(jì)算方法都是非常快速而且有效的，在解方程過(guò)程中，計(jì)算超分辨率圖像的頻域某個(gè)采樣點(diǎn)與其它采樣點(diǎn)之間是獨(dú)立的。此在計(jì)算過(guò)程中顯然可以引入并行計(jì)算技術(shù)來(lái)提高運(yùn)算速度。</p><p><b>　　缺點(diǎn)：</b></p

40、><p><b>　　全局平移運(yùn)動(dòng)。</b></p><p>　　所有的頻域方法中所討論的運(yùn)動(dòng)都是全局的平移運(yùn)動(dòng)，這是頻域方法在應(yīng)用中的一個(gè)重要限制。</p><p>　　運(yùn)動(dòng)模型限制較多。 </p><p>　　圖像退化模型的限制。</p><p>　　難以包含空間域上的先驗(yàn)知識(shí)來(lái)正則化。</

41、p><p>　　2.3.2 空域方法</p><p>　　空域方法的適用范圍較廣，具有很強(qiáng)的包含空域先驗(yàn)約束的能力，主要包括非均勻樣本內(nèi)插法、迭代反投影方法、集合論方法（如凸集投影：POCS）、統(tǒng)計(jì)復(fù)原方法（最大后驗(yàn)概率估計(jì)MAP 和最大似然估計(jì)ML）、混合MAP/POCS 方法以及自適應(yīng)濾波方法等。其中，非均勻樣本內(nèi)插方法、迭代反投影方法等結(jié)合先驗(yàn)信息的能力很弱，在改善超分辨率復(fù)原效果方面

42、受到了一定的限制。 </p><p>　　上一小節(jié)，對(duì)超分辨率的頻域算法進(jìn)行了介紹，并分析了頻域算法的優(yōu)勢(shì)和缺點(diǎn)，超分辨率頻域算法的缺點(diǎn)使得在近幾年的超分辨率研究中，空域算法逐漸占據(jù)了主流，相比頻域算法，空域超分辨率算法主要有以下優(yōu)勢(shì)：</p><p><b>　　通用的觀察模型</b></p><p>　　(1)任意運(yùn)動(dòng)模型(整體或非整體)&

43、lt;/p><p>　　(2)光學(xué)系統(tǒng)退化(空間變化或不變)</p><p>　　(3)非理想采樣影響(空問(wèn)變化或不變)</p><p>　　包含先驗(yàn)約束的有力方法</p><p>　　(1)空域圖像模型諸如馬爾可夫隨機(jī)場(chǎng)</p><p>　　(2)基于集合的約束(POCS)</p><p>　　在

44、這類超分辨率圖像重建方法中，觀測(cè)模型被系統(tǒng)的闡述，并且圖像重建是在空間域?qū)崿F(xiàn)的。線性空間域觀察模型能夠適應(yīng)整體和非整體運(yùn)動(dòng)、運(yùn)動(dòng)模糊、空間變化點(diǎn)擴(kuò)散函數(shù)(PSF)、非理想采樣等。在空域超分辨率重建的經(jīng)典方法中，迭代反投影方法(IBP)，最大后驗(yàn)概率MAP)估計(jì)方法，及凸集投影法(POCS)算法是最常見(jiàn)且有效的。</p><p>　　2.3.3 其他方法</p><p>　　迭代反投影法（

45、IBP）</p><p>　　迭代反向投影法構(gòu)建高分辨率圖像的算法是通過(guò)反復(fù)迭代來(lái)實(shí)現(xiàn)的。</p><p>　　凸集投影法(POCS)</p><p>　　POCS是一個(gè)通過(guò)迭代，尋找滿足一系列先驗(yàn)信息的可行解的方法,這些先驗(yàn)信息基于觀測(cè)數(shù)據(jù)、降質(zhì)模型、噪聲統(tǒng)計(jì)特性以及圖像自身的分布。</p><p>　　第三章 圖像內(nèi)插常用算法介紹<

46、/p><p>　　圖像幾何變換包括平移、轉(zhuǎn)置、鏡像和縮放等。其中前三種操作變換中，輸出圖像的每一個(gè)像素點(diǎn)在輸入圖像中都有一個(gè)具體的像素點(diǎn)與之對(duì)應(yīng)。但是，在縮放操作中，輸出圖像像素點(diǎn)坐標(biāo)有可能對(duì)應(yīng)于輸入圖像上幾個(gè)像素點(diǎn)之間的位置，這個(gè)時(shí)候就需要通過(guò)灰度插值處理來(lái)計(jì)算出該輸出點(diǎn)的灰度值。圖像插值是圖像超分辨處理的重要環(huán)節(jié)，不同的插值算法有不同的精度，插值算法的好壞也直接影響著圖像的失真程度。最常用的插值算法有三種：<

47、;/p><p>　　最近鄰插值、雙線性插值、雙三次插值，其中使用立方卷積插值達(dá)到的效果是最佳的。</p><p>　　3.1 最近鄰插值</p><p>　　最近鄰插值算法最簡(jiǎn)單的插值法是最近鄰插值法，也叫零階插值法。即選擇離它所映射到的位置最近的輸入像素的灰度值為插值結(jié)果[3]。對(duì)二維圖像，是取待測(cè)樣點(diǎn)周圍4 個(gè)相鄰像素點(diǎn)中距離最近1 個(gè)相鄰點(diǎn)的灰度值作為待測(cè)樣點(diǎn)的

48、像素值。最近鄰點(diǎn)插值函數(shù)是運(yùn)算復(fù)雜度最低的插值函數(shù)，是對(duì)理想插值最簡(jiǎn)單的近似。該方法的思想是每個(gè)待定像素的灰度值等于與它最鄰近的已知像素的灰度值。最近鄰濾波器是由全“1”組成的單系數(shù)濾波器，其單位脈沖響應(yīng)和頻率響應(yīng)分別為：</p><p><b>　?。?.1） </b></p><p><b>　　（3.2）</b></p>&

49、lt;p>　　則放大后的圖像為此處*表示卷積。</p><p>　　最近鄰插值法的優(yōu)點(diǎn)是算法簡(jiǎn)單，易于理解和實(shí)現(xiàn)，但由于該濾波器在水平和垂直方向上對(duì)圖像基帶外的重復(fù)頻譜衰減不夠，致使放大的圖像中存在方塊效應(yīng)，而且隨著放大倍數(shù)的提高，方塊效應(yīng)越來(lái)越明顯，越來(lái)越難以接受，這也是該算法的致命缺點(diǎn)。</p><p>　　3.2 雙線性插值</p><p>　　雙線性

50、插值算法雙線性插值又叫一階插值法，雙線性插值法的基本思想是每個(gè)待定像素的灰度值等于與其相鄰的四個(gè)已知像素灰度值的加權(quán)和。它要經(jīng)過(guò)三次插值才能獲得最終結(jié)果，是對(duì)最近鄰插值法的一種改進(jìn)，先對(duì)兩水平方向進(jìn)行一階線性插值，然后再在垂直方向上進(jìn)行一階線性插值。如下圖所示：正方形內(nèi)部點(diǎn)(i，j)為內(nèi)插待定像素點(diǎn)，為它的灰度值，正方形四頂點(diǎn)(x，y)，(x，y+1)，(x+l，y)，(x+1，y+1)為己知灰度的像素點(diǎn)，</p><

51、;p>　　圖3.1 雙線性插值算法示意圖</p><p><b>　?。?.3）</b></p><p>　　式中系數(shù)a，b，c，d須由已知的四個(gè)頂點(diǎn)來(lái)確定，步驟如下：首先對(duì)左側(cè)的兩個(gè)頂點(diǎn)進(jìn)行線性插值可得</p><p><b>　　（3.4）</b></p><p>　　類似地，對(duì)右側(cè)兩個(gè)

52、頂點(diǎn)進(jìn)行線性插值有</p><p><b>　?。?.5）</b></p><p>　　最后，做水平方向上的線性插值，得到</p><p><b>　?。?.6）</b></p><p>　　根據(jù)上面3個(gè)公式我們可以推出：</p><p><b>　?。?.7）&l

53、t;/b></p><p>　　將四個(gè)已知點(diǎn)的灰度值代入式(3.7)即可求出待定像素點(diǎn)的灰度值。</p><p>　　從響應(yīng)函數(shù)角度講，雙線性濾波器的單位脈沖響應(yīng)和頻率響應(yīng)分別為</p><p><b>　?。?.8）</b></p><p><b>　　(3.9)</b></p>

54、<p>　　則放大后的圖像為 。</p><p>　　雙線性濾波器的平方響應(yīng)特性使重復(fù)頻譜得到足夠的衰減，一定程度上削弱了方塊效應(yīng)，但其在平滑圖像的同時(shí)使圖像的細(xì)節(jié)產(chǎn)生退化，丟失了重要的邊緣特征。</p><p>　　3.3 雙三次插值</p><p>　　雙三次插值算法雙三次插值又叫立方卷積插值，是對(duì)雙線性插值的改進(jìn)，是一種較為復(fù)雜的插值方式，它不

55、僅考慮到周圍四個(gè)直接相鄰像素點(diǎn)灰度值的影響，還考慮到它們灰度值變化率的影響。</p><p>　　此法利用待采樣點(diǎn)附近16 個(gè)像素點(diǎn)的灰度值作三次插值進(jìn)行計(jì)算，還用到如圖3 所示的三次多項(xiàng)式 S( w)。</p><p>　　首先確定 16 個(gè)鄰點(diǎn)坐標(biāo)，設(shè)其排成的矩陣為：方卷積法就退化成雙線性插值法。由此看來(lái)，立方卷積可看成兩部分組成，其中( 1 - | m| )代表直接鄰點(diǎn)的灰度值對(duì)待采

56、樣點(diǎn)的影響, 而l 則代表鄰點(diǎn)間灰度值的變化率對(duì)待采樣點(diǎn)的影響。與雙線性插值法相比, 立方卷積法不僅考慮了直接鄰點(diǎn)的灰度值對(duì)待采樣點(diǎn)的影響,還考慮了鄰點(diǎn)間灰度值變化率的影響, 因此后者所求得的待采樣點(diǎn)灰度值更為精確。雙三插值法, 是用一個(gè)三次重采樣函數(shù)w(t)來(lái)近似表示灰度內(nèi)插時(shí)周圍像點(diǎn)的灰度值對(duì)內(nèi)插點(diǎn)灰度的貢獻(xiàn)大小，如圖4.3所示，</p><p><b>　　（3.10）</b><

57、/p><p>　　圖3.2 雙三次插值算法示意圖 </p><p>　　設(shè)內(nèi)插點(diǎn)P的最近像素點(diǎn)為22，像素間的間隔為l，且P點(diǎn)到像素點(diǎn)22間的距離在x和y方向的投影分別為和，則內(nèi)插點(diǎn)p的灰度值Dp為：</p><p><b>　?。?.11）</b></p><p>　　式中Dij為點(diǎn)ij的灰度值，它的優(yōu)點(diǎn)是內(nèi)插精度高

58、，缺點(diǎn)是運(yùn)算量大。</p><p><b>　　3.4 高階插值</b></p><p>　　為了進(jìn)～步改善線性插值的效果，高階插值[10][11]方法被引入進(jìn)來(lái)，其中主要應(yīng)用三次樣條和三次B樣條插值兩種。</p><p>　　1)三次樣條插值(Spline Interpolation)</p><p>　　從數(shù)學(xué)上講

59、，在小繞度假定下，三次樣條實(shí)際上是由一段一段的三次多項(xiàng)式曲線拼接而成的，在拼接處，不僅函數(shù)自身是連續(xù)的，而且它的一階導(dǎo)數(shù)和二階數(shù)也是連續(xù)的(可是三階導(dǎo)數(shù)一般不連續(xù))，所以三次樣條函數(shù)具有非常好的光滑性。下面給出一維情況下三次樣條插值函數(shù)的定義。</p><p>　　定義對(duì)于給定實(shí)數(shù)對(duì) 其中</p><p>　　若存在函數(shù)S(x)滿足：</p><p>　　(1) S

60、(x)在每一個(gè)子區(qū)間上是一個(gè)不超過(guò)三次的多項(xiàng)式：</p><p>　　(2) S(x)在每一個(gè)內(nèi)接點(diǎn)上具有直到二階的連續(xù)導(dǎo)數(shù)，即 S(x)∈C[a，b]；</p><p><b>　　(3) </b></p><p>　　則稱S(x)為三次樣條插值函數(shù)。</p><p>　　在圖像內(nèi)插時(shí)，三次樣條插值法利用

61、待定像素周圍16個(gè)相鄰已知像素的灰度值來(lái)確定待定像素的灰度值，插值的權(quán)值為sine函數(shù)。如圖下圖所示，設(shè)(i,j)為內(nèi)插圖像中待定的像素點(diǎn)，其周圍的16個(gè)點(diǎn)為已知像素，u,v，分別表示像素(i,j)與已知像素問(wèn)的垂直和水平距離。則(i,j)點(diǎn)的灰度值為</p><p><b>　　(3.12)</b></p><p>　　圖3.3 高階插值算法示意圖</p>

62、;<p><b>　　其中</b></p><p><b>　?。?.13）</b></p><p><b>　　(3.14)</b></p><p><b>　　（3.15）</b></p><p>　　式中．S(k)為離散情況下用來(lái)擬合s

63、ine函數(shù)的三次插值多項(xiàng)式，其表達(dá)式為</p><p><b>　　(3.16)</b></p><p>　　2)三次B樣條插值(B—Spline Interpolation)</p><p>　　B樣條插值函數(shù)的等價(jià)定義很多，一維情況下，K次玎階B樣條曲線最基本的定義式：</p><p><b>　?。?.1

64、7）</b></p><p>　　其中p(x)是輸出函數(shù)，是輸入函數(shù)，二維時(shí)是補(bǔ)零疏化后的圖像，稱為n階B樣條基函數(shù)，一般所說(shuō)的B樣條函數(shù)就是指B樣條基函數(shù)。由下式定義</p><p><b>　?。?.18）</b></p><p>　　其中，是二次項(xiàng)系數(shù)，等于。是階躍函數(shù)</p><p>　?。?.19）

65、 </p><p>　　式(3．4.6)只能用于連續(xù)表達(dá)式，離散情況下，可利用B樣條函數(shù)的一個(gè)很重要的性質(zhì)——遞推性來(lái)由低階B樣條基函數(shù)卷積求取高階B樣條基函數(shù)，如式(3.4.6)所示</p><p><b>　?。?.20）</b></p><p>　　利用這一性質(zhì)，在二維情況下，可由零階B樣條插值濾波器的響應(yīng)函數(shù)得到三階B樣條

66、濾波器的響應(yīng)函數(shù)。事實(shí)上，最近鄰插值濾波器的響應(yīng)函數(shù)即為零階B樣條插值函數(shù)，而雙線性插值濾波器的響應(yīng)函數(shù)為一階B樣條插值函數(shù)，由此可知，三階B樣條插值濾波器的單位脈沖響應(yīng)為</p><p><b>　?。?.21）</b></p><p><b>　　則其頻率響應(yīng)為</b></p><p><b>　　（3.22

67、）</b></p><p>　　則放大后的圖像為 （3.23）</p><p>　　三次樣條插值和三次B樣條插值放大后的圖像函數(shù)具有較高的光滑性，這與灰度級(jí)較少的圖像的函數(shù)表示要求不一致，并且在保持高光滑性的同時(shí)丟失了一些重要的細(xì)節(jié)信息。</p><p>　　第四章 基于插值的超分辨重建</p><p>&l

68、t;b>　　4.1 重建流程</b></p><p>　　超分辨率技術(shù)的基本前提 </p><p>　　首先合成感興趣區(qū)域的縮放，如下圖所示如果轉(zhuǎn)向左邊圖像,然后由整數(shù)單位每一個(gè)圖像包含相同的信息,從而在那里沒(méi)有新的信息,可以用來(lái)構(gòu)建一個(gè)HR圖像，有一個(gè)</p><p>　　自然損失的空間是由于分辨率波前畸變引起的(沒(méi)有聚焦,衍射極限）。因此,記

69、錄的影像</p><p>　　通常遭受從模糊、噪音和混疊的影響。與圖像恢復(fù)技術(shù)創(chuàng)新的相關(guān)問(wèn)題，圖像恢復(fù)的目的是恢復(fù)退化(例如,圖像模糊,吵鬧的),但它是不會(huì)的改變大小的形象。SR的重建可以被視為使第二代有問(wèn)題的圖像得到恢復(fù).</p><p>　　圖4.1 超分辨率技術(shù)原理</p><p>　　關(guān)于LR的圖像觀測(cè)模型的HR圖像 </p><p&g

70、t;　　圖像插值方法沒(méi)有被作為SR技術(shù)，信息的融合是通過(guò)各種各樣的觀測(cè)相同的場(chǎng)景使我們的SR的重建了這個(gè)圖像。把看作為HR的符號(hào)，隨著的變化在帶寬限制上,采樣下來(lái)因素 ,因此,觀測(cè)LR圖像結(jié)果從變形、模糊進(jìn)行二次抽樣。</p><p>　　(4.1) </p><p>　　其中通過(guò)平移、旋轉(zhuǎn)。 步驟如下圖 </p><p>　　圖4.2 降質(zhì)示意

71、圖 </p><p><b>　　超分辨的解決方案</b></p><p>　　首先直觀的估計(jì)在相對(duì)運(yùn)動(dòng)時(shí)，用非均勻插值去除模糊的過(guò)程中，考慮的到存在噪音，可以由應(yīng)用任何反褶積方法恢復(fù)，如下圖所示</p><p>　　圖4.3 超分辨流程</p><p>　　基于配準(zhǔn)與插值的重建 </p

72、><p>　　圖4.4 重建示意圖</p><p>　　4.2 Keren配準(zhǔn)</p><p>　　Keren算法屬于梯度算法,它是基于泰勒級(jí)數(shù)展開(kāi)的配準(zhǔn)方法，是Lucas - Kanade平移變換算法的基礎(chǔ)上擴(kuò)展到旋轉(zhuǎn) - 平移模型[5]。Keren 算法采用三層高斯金字塔，也就是對(duì)兩張都是N×N的原始圖像，進(jìn)行高斯濾波和降采樣，變成兩張N/2×

73、;N/2的圖像，再對(duì)兩張N/2×N/2的圖形進(jìn)行高斯濾波和降采樣，得到兩張N/4×N/4的圖像，這樣就構(gòu)成了分辨率由粗到精的圖像金字塔。再?gòu)拇值牡谝粚娱_(kāi)始求取參數(shù)X，然后根據(jù)X 對(duì)第二層的圖像進(jìn)行旋轉(zhuǎn)和平移改正，再插值獲取新的第二層圖像，在第二層圖像的基礎(chǔ)上重新計(jì)算新的X，重復(fù)上述過(guò)程，最后計(jì)算出原始圖像高精度的配準(zhǔn)參數(shù)[9]。</p><p>　　Keren 算法原理設(shè)參考圖像為I1，待配準(zhǔn)

74、圖像為I2，I1（x，y）和I2（x，y）分別為兩幅圖像在坐標(biāo)（x，y）處的像素灰度，圖像配準(zhǔn)可描述為求取兩幅圖像空間坐標(biāo)及灰度分布之間的映射關(guān)系：</p><p><b>　　(4.2)</b></p><p>　　其中H表示二維坐標(biāo)變換，表示一維灰度變換。圖像配準(zhǔn)的目的就是求取最優(yōu)的坐標(biāo)變換H和灰度變換。通?；叶茸儞Q一般是不需要求取的，因此圖像配準(zhǔn)的關(guān)鍵問(wèn)題是待配

75、準(zhǔn)圖像與基準(zhǔn)圖像之間的坐標(biāo)變換關(guān)系。而Keren算法就是基于剛體變換的一種配準(zhǔn)方法，其變換模型為：</p><p><b>　　(4.3)</b></p><p>　　其中為旋轉(zhuǎn)角度，a，b為平移量，帶入(4. 1)，有：</p><p><b>　　(4.4)</b></p><p>　　當(dāng)較小時(shí)

76、，sin,cos用泰勒級(jí)數(shù)展開(kāi)，則式(4.3)可寫(xiě)成：</p><p><b>　　(4.5)</b></p><p>　　再對(duì)式(4.4)進(jìn)行二級(jí)泰勒級(jí)數(shù)展開(kāi)，生成</p><p><b>　　(4.6)</b></p><p>　　因此參考圖像與待配準(zhǔn)圖像的誤差近似為：</p>&

77、lt;p><b>　　(4.7)</b></p><p>　　令E(a,b,)取得最小的a,b,即為所求。對(duì)關(guān)于a,b,求偏導(dǎo)，并令偏導(dǎo)等于零，得到：</p><p><b>　　(4.8)</b></p><p>　　其中，，，再采用三層高斯金字塔，逐層求取X，最后得出原始圖像高精度的配準(zhǔn)參數(shù)。</p>

78、<p>　　Keren算法實(shí)現(xiàn)流程 </p><p>　　Keren算法可以有效地減少計(jì)算量，同時(shí)，由于低分辨率圖像之間相對(duì)運(yùn)動(dòng)量比較小，因此該方法可以處理具有較大運(yùn)動(dòng)變化的情形。其整個(gè)實(shí)現(xiàn)步驟如下：</p><p>　　(1)將圖像讀取到MATLAB的工作區(qū)；</p><p>　　(2)將參考圖像和待配準(zhǔn)圖像分別進(jìn)行邊緣提取，得到邊緣圖像；<

79、/p><p>　　(3)對(duì)邊緣圖像進(jìn)行3層高斯金字塔分解；</p><p>　　(4)初始化配準(zhǔn)參數(shù)X=[0 0 0]T ；</p><p>　　(5)從最低分辨率開(kāi)始，運(yùn)用Keren算法對(duì)邊緣圖像進(jìn)行配準(zhǔn)，得到配準(zhǔn)參數(shù)X；</p><p>　　(6)利用步驟(5)得到的配準(zhǔn)參數(shù)，對(duì)高一級(jí)分辨率圖像進(jìn)行旋轉(zhuǎn)、平移，并運(yùn)用Keren 配準(zhǔn)算法，得到

80、新的配準(zhǔn)參數(shù)X；重復(fù)此過(guò)程，直到最高分辨率層為止。</p><p><b>　　4.3實(shí)驗(yàn)結(jié)果</b></p><p><b>　　試驗(yàn)1</b></p><p>　　圖4.5 原始圖像1 圖4.6 原始圖像2 圖4.7 原始圖像3 圖4.8 原始圖像4 </p><p>　

81、　經(jīng)過(guò)Keren配準(zhǔn)用插值算法，插值因子為2重構(gòu)的圖像為</p><p>　　圖4.9 重構(gòu)圖像 </p><p>　　表4.1 配準(zhǔn)參數(shù)</p><p><b>　　試驗(yàn)二</b></p><p>　　圖4.10 原始圖像1 圖4.11 原始圖像2 圖4.12 原始圖像3 圖4.13 原始圖像

82、4</p><p>　　經(jīng)過(guò)Keren配準(zhǔn)用插值算法，插值因子為2重構(gòu)的圖像為</p><p>　　圖4.14 重構(gòu)圖像（50%）</p><p>　　表4.2 配準(zhǔn)參數(shù)</p><p><b>　　參考文獻(xiàn)</b></p><p>　　[1]周峽.圖像超分辨率重建中的配準(zhǔn)算法研究[D].南京

83、理工大學(xué). 2008.38~39.</p><p>　　[2]張明.圖像超分辨率重建和插值算法研究[D].安徽：中國(guó)科技大學(xué)，2010.</p><p>　　[3]何宇清.圖像超分辨率重建關(guān)鍵技術(shù)研究[D].天津大學(xué).2007.38~39</p><p>　　[4]M.G.Kang，S.Chaudhuri.Special issue 011 Super-resolu

84、tion Image Reconstruction[J].IEEE Signal Processing Mag，volume,20,Mar.2003.</p><p>　　[5]王正勇，何小海，吳曉紅.基于邊緣特征和Keren算法的圖像配準(zhǔn)[J].計(jì)算機(jī)工程與應(yīng)用.2008, 44(33):26~27.</p><p>　　[6]甘亞莉，涂丹，李國(guó)輝.超分辨圖像配準(zhǔn)方法研究[J].2007

85、,24(8):215~216.</p><p>　　and Applications[J]．EURASIP Journal on Applied Signal Processing，volume,2006，2006.</p><p>　　[7]R.C.Gonzalez，R．E．Woods．Digital Image Processing[J]．Addison·wesley．Rea

86、ding，MA．1992.</p><p>　　[8]A.M．Tekalp，G.Pavlovic，Digital Restoration of image scaned from photographic paper[J]．Journal of Electronic Imaging，1993，2(1)：19~27.</p><p>　　[9]范沖,龔健雅,朱建軍.基于Keren改進(jìn)配準(zhǔn)算法

87、的POCS超分辨率重建[J].計(jì)算機(jī)工程與應(yīng)用 2006,42(36):29.</p><p>　　[10]Kenneth R.Castkeman etal，數(shù)字圖像處理[M].電子工業(yè)出版社.2003.</p><p>　　[11]Rafael C.Gonzalez，Richard E.Woods etal，數(shù)字圖像處理(第二版)[M].北京：電子工業(yè)出版社，2005.</p>

88、;<p><b>　　致 謝</b></p><p>　　在貴州大學(xué)科技學(xué)院的四年學(xué)習(xí)中讓我度過(guò)了很多快樂(lè)和難忘的時(shí)光，現(xiàn)在即將畢業(yè)，四年的讀書(shū)生活在這個(gè)季節(jié)即將劃上一個(gè)句號(hào)，而于我的人生卻只是一個(gè)逗號(hào)，我將面對(duì)又一次征程的開(kāi)始。</p><p>　　在本次論文設(shè)計(jì)過(guò)程中，劉洪老師對(duì)該論文從選題，構(gòu)思到最后定稿的各個(gè)環(huán)節(jié)給予細(xì)心指引與教導(dǎo),使我得以最終

89、完成畢業(yè)論文設(shè)計(jì)。在學(xué)習(xí)中,老師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、豐富淵博的知識(shí)、敏銳的學(xué)術(shù)思維、精益求精的工作態(tài)度以及侮人不倦的師者風(fēng)范是我終生學(xué)習(xí)的楷模，導(dǎo)師們的高深精湛的造詣與嚴(yán)謹(jǐn)求實(shí)的治學(xué)精神，將永遠(yuǎn)激勵(lì)著我。這三年中還得到眾多老師的關(guān)心支持和幫助。在此，謹(jǐn)向老師們致以衷心的感謝和崇高的敬意！感謝的是我的父母，他們不僅培養(yǎng)了我對(duì)中國(guó)傳統(tǒng)文化的濃厚的興趣，讓我在漫長(zhǎng)的人生旅途中使心靈有了虔敬的歸依，而且也為我能夠順利的完成畢業(yè)論文提供了巨大的支持與