扭曲圖像恢復-畢業(yè)設計-論文

1、<p><b>　　目 錄</b></p><p><b>　　前 言1</b></p><p>　　第一章緒 論2</p><p>　　1.1圖像處理概論2</p><p>　　1.2圖像處理的研究內(nèi)容2</p><p>　　1.3圖像處理的應用

2、3</p><p>　　1.4本文的研究工作與創(chuàng)新點4</p><p>　　第二章 文檔圖像處理5</p><p>　　2.1文檔圖像的概述5</p><p>　　2.1.1文檔圖像獲取5</p><p>　　2.1.2文檔圖像獲取中的難題5</p><p>　　2.2文檔圖像的處理

3、6</p><p>　　2.2.1圖像去色及二值化6</p><p>　　2.2.2傾斜檢測與校正6</p><p>　　2.2.3版面結構理解7</p><p>　　2.3扭曲文檔圖像的處理8</p><p>　　2.3.1基于2D文檔圖像分析8</p><p>　　2.3.2基于3

4、D文檔模型重建8</p><p>　　2.3.3比較與分析9</p><p><b>　　2.4本章小結9</b></p><p>　　第三章2D文檔圖像扭曲恢復的預處理10</p><p>　　3.1系統(tǒng)分析與設計10</p><p>　　3.1.1扭曲恢復技術流程10</p

5、><p>　　3.1.2需求分析與系統(tǒng)設計11</p><p>　　3.2文檔圖像預處理12</p><p>　　3.2.1圖像去色12</p><p>　　3.2.2噪聲消除13</p><p>　　3.2.2.1噪聲消除的方法13</p><p>　　3.2.2.2噪聲消除的實現(xiàn)14

6、</p><p>　　3.2.2.3實驗結果與分析14</p><p>　　3.2.3圖像二值化15</p><p>　　3.2.3.1二值化算法16</p><p>　　3.2.3.2實驗結果與分析18</p><p>　　3.3本章小結18</p><p>　　第四章文檔圖像的扭

7、曲恢復19</p><p>　　4.1字符和文本行標識19</p><p>　　4.1.1標識的步驟19</p><p>　　4.1.2標識算法偽代碼19</p><p>　　4.1.3實驗結果與分析20</p><p>　　4.2曲線分割與傾斜校正21</p><p>　　4.3字

8、符平移23</p><p>　　4.3.1平移的思想23</p><p>　　4.3.2平移算法偽代碼24</p><p>　　4.3.3實驗結果與分析24</p><p>　　4.4本章小結25</p><p>　　第五章 文檔圖像的后處理26</p><p>　　5.1斷筆修復

9、26</p><p>　　5.2背景恢復26</p><p>　　5.3實驗結果與分析27</p><p>　　5.3.1 OCR測試27</p><p>　　5.3.2結果分析31</p><p>　　5.4 本章小結32</p><p>　　第六章 總結與展望33</p&g

10、t;<p>　　6.1 課題總結33</p><p>　　6.2 后續(xù)研究展望33</p><p><b>　　參考文獻34</b></p><p>　　作者攻讀學士學位期間發(fā)表（錄用）的論文36</p><p><b>　　致 謝37</b></p><

11、;p><b>　　摘 要</b></p><p>　　在掃描、復印或者拍攝文檔的過程中造成的圖像扭曲在文檔理解和處理方面是普遍的問題。這種文檔圖像的扭曲降低了光學文字辨識（OCR）能力，也嚴重影響了其使用效果。這是文檔打印數(shù)字化和自動化過程中的主要障礙。</p><p>　　本課題的研究工作是對這種扭曲文檔圖像采用相關的技術進行一定的恢復。本文首先介紹了文檔圖

12、像的處理技術和當前已有的扭曲恢復技術，然后重點描述了基于2D文檔圖像分析的恢復技術的流程，及解決方案的設計，并付諸于程序實現(xiàn)。實驗結果的分析表明，文檔圖像扭曲恢復后的OCR識別率要明顯高于恢復之前的。最后我們對課題的研究進行總結和展望。</p><p>　　關鍵詞：文檔圖像，圖像處理，扭曲恢復</p><p><b>　　作 者： </b></p>

13、<p><b>　　指導老師： </b></p><p><b>　　Abstract</b></p><p>　　Image warping caused by scanning, photocopying or photographing a document is a common problem in the field of

14、 document processing and understanding. Distortion within the text documents impairs OCR ability and thus strongly decreases the usability of the results. This is one of the major obstacles for automating the process of

15、digitizing printed documents.</p><p>　　Our research is using relative methods to restore the warped document images. Document image processing technology and present de-warping methods are firstly presented

16、in this paper. And then, we pay more attention on the progress of de-warping and its solution design, based on analysis of 2D document image, after which we realize it in our system. Analysis of our experiment result sho

17、ws the OCR accuracy of de-warped document image is much higher than that of the warped. Finally, we give out a b</p><p>　　Keywords: document image, image processing, de-warp</p><p>　　Written by

18、</p><p>　　Supervised by </p><p><b>　　前 言</b></p><p>　　隨著人工智能和多媒體技術的發(fā)展，數(shù)字圖像處理技術的應用越來越廣泛。越來越多的文檔被掃描成為數(shù)字圖像，伴隨計算機的普及，為人們的生活、工作和學習提供了方便。同時，在文檔被掃描的過程中，數(shù)字圖像會出現(xiàn)普遍的扭曲和陰影現(xiàn)象。由各種原因

19、造成的扭曲文檔圖像，無論是對人們的閱讀理解還是對文檔圖像處理的自動化都帶來了影響。</p><p>　　目前已經(jīng)出現(xiàn)一些扭曲文檔圖像的恢復技術。這些技術大致劃分為兩類[1]：基于2D文檔圖像分析的恢復技術和基于3D文檔模型重建的恢復技術。作者認為該分類是扭曲恢復技術分類的主流，多數(shù)恢復技術均圍繞這一分類展開。</p><p>　　文獻[2-4]均是針對分類中的前者進行研究，即從已有的扭曲文

20、檔圖像出發(fā)，通過對扭曲文檔的特征分析，找出合適的恢復算法。文獻[1,5]則更多從造成文檔扭曲的因素出發(fā)，包括硬件設備及掃描對象本身，通過重建文檔的3D模型并輔以數(shù)學分析，找出合理的恢復算法。其中，基于3D文檔模型重建且可行的前提必須是對象所呈現(xiàn)的模型是規(guī)范的，如圓柱狀，這樣勢必對文檔對象及其環(huán)境加以限制，如書脊平行于掃描光源等。文獻[6]將3D文檔模型重建與2D文檔圖像分析結合起來，解除一些限制，使其處理對象更加廣泛。綜上分析，這種基于

21、3D模型重建的方法，為了建立規(guī)范的3D模型、解除各種限制，使加入的處理算法越來越多，從而使整個恢復技術顯得更復雜。這會導致至少兩方面問題：算法實現(xiàn)的復雜性提高和算法的整體效率降低。因此，它的適用性受到限制，尤其在處理大宗扭曲文檔圖像時顯得不實用。</p><p>　　為了達到實用和高效的批處理效率，作者選擇分類中的前者，結合當前已有算法和對中文特征的分析，擬設計出一種簡單有效的，適用于扭曲的中文文檔圖像的恢復技術

22、。</p><p>　　全文分為六章。第一章緒論，介紹了圖像處理的概論和本文所做的研究工作及創(chuàng)新點。第二章文檔圖像處理，從圖像處理引申到文檔圖像處理，再具體到扭曲文檔圖像的處理，簡要介紹了文檔圖像的處理技術和文檔圖像扭曲恢復的兩種技術原理。第三章是基于2D文檔圖像分析的扭曲恢復技術，主要介紹了該技術的流程和系統(tǒng)設計，以及扭曲恢復前的文檔圖像預處理。第四章是文檔圖像的扭曲恢復，該章是核心章節(jié)，也是本文研究工作的創(chuàng)新

23、點，詳細介紹了如何對扭曲的文檔圖像進行一定的恢復。第五章文檔圖像后處理，是對扭曲恢復后的圖像進行信息修復，并對最終處理結果做了測試分析。第六章總結與展望，對本課題的工作進行總結，并對其中的不足及后續(xù)的研究作展望。</p><p><b>　　第一章緒 論</b></p><p><b>　　1.1圖像處理概論</b></p>&

24、lt;p>　　圖像處理是指將圖像信號轉換成數(shù)字信號并利用計算機對其進行處理的過程。它最早出現(xiàn)于20世紀50年代，當時的電子計算機已經(jīng)發(fā)展到一定水平，人們開始利用計算機來處理圖形和圖像信息。</p><p>　　數(shù)字圖像處理作為一門學科大約形成于20世紀60年代初期。早期圖像處理的目的是改善圖像的質量，它以人為對象，以改善人的視覺效果為目的。圖像處理中，輸入的是質量低的圖像，輸出的是改善質量后的圖像，常用的圖

25、像處理技術有圖像增強與復原、編碼壓縮等。</p><p>　　1.2圖像處理的研究內(nèi)容</p><p>　　圖像處理的研究內(nèi)容非常廣泛，下面對一些常見的研究內(nèi)容作簡要介紹。</p><p><b>　　1、圖像變換</b></p><p>　　由于圖像陣列很大，直接在空間域中進行處理，涉及計算量很大。因此，往往采用各種圖

26、像變換的方法，如傅立葉變換、沃爾什變換、離散余弦變換等間接處理技術，將空間域的處理轉換為變換域處理，不僅可減少計算量，而且可獲得更有效的處理（如傅立葉變換可在頻域中進行數(shù)字濾波處理）。目前新興研究的小波變換在時域和頻域中都具有良好的局部化特性，它在圖像處理中也有著廣泛而有效的應用。</p><p><b>　　2、圖像編碼壓縮</b></p><p>　　圖像編碼壓縮

27、技術可減少描述圖像的數(shù)據(jù)量（即比特數(shù)），以便節(jié)省圖像傳輸、處理時間和減少所占用的存儲器容量。壓縮可以在不失真的前提下獲得，也可以在允許的失真條件下進行。編碼是壓縮技術中最重要的方法，它在圖像處理技術中是發(fā)展最早且比較成熟的技術。</p><p><b>　　3、圖像增強與復原</b></p><p>　　圖像增強和復原的目的是為了提高圖像的質量，如去除噪聲，提高圖像的

28、清晰度等。圖像增強不考慮圖像降質的原因，突出圖像中所感興趣的部分。如強化圖像高頻分量，可使圖像中物體輪廓清晰，細節(jié)明顯；如強化低頻分量可減少圖像中噪聲影響。圖像復原要求對圖像降質的原因有一定的了解，一般講應根據(jù)降質過程建立“降質模型”，再采用某種濾波方法，恢復或重建原來的圖像。</p><p><b>　　4、圖像分割</b></p><p>　　圖像分割是數(shù)字圖像處

29、理中的關鍵技術之一。圖像分割是將圖像中有意義的特征部分提取出來，其有意義的特征有圖像中的邊緣、區(qū)域等，這是進一步進行圖像識別、分析和理解的基礎。雖然目前已研究出不少邊緣提取、區(qū)域分割的方法，但還沒有一種普遍適用于各種圖像的有效方法。因此，對圖像分割的研究還在不斷深入之中，是目前圖像處理中研究的熱點之一。 </p><p><b>　　5、圖像描述</b></p><p&g

30、t;　　圖像描述是圖像識別和理解的必要前提。作為最簡單的二值圖像可采用其幾何特性描述物體的特性，一般圖像的描述方法采用二維形狀描述，它有邊界描述和區(qū)域描 述兩類方法。對于特殊的紋理圖像可采用二維紋理特征描述。隨著圖像處理研究的深入發(fā)展，已經(jīng)開始進行三維物體描述的研究，提出了體積描述、表面描述、廣義圓柱體描述等方法。</p><p><b>　　6、圖像分類</b></p>&l

31、t;p>　　圖像分類（識別）屬于模式識別的范疇，其主要內(nèi)容是圖像經(jīng)過某些預處理（增強、復原、壓縮）后，進行圖像分割和特征提取，從而進行判決分類。圖像分類常采用經(jīng)典的模式識別方法，有統(tǒng)計模式分類和句法（結構）模式分類，近年來新發(fā)展起來的模糊模式識別和人工神經(jīng)網(wǎng)絡模式分類在圖像識別中也越來越受到重視。</p><p>　　1.3圖像處理的應用</p><p>　　首次將圖像處理成功應用于

32、實際的是美國噴氣推進實驗室（JPL）。他們對航天探測器徘徊者7號在1964年發(fā)回的幾千張月球照片使用了圖像處理技術，如幾何校正、灰度變換、去除噪聲等方法進行處理，并考慮了太陽位置和月球環(huán)境的影響，由計算機成功地繪制出月球表面地圖，獲得了巨大的成功。隨后又對探測飛船發(fā)回的近十萬張照片進行更為復雜的圖像處理，以致獲得了月球的地形圖、彩色圖及全景鑲嵌圖，獲得了非凡的成果，為人類登月創(chuàng)舉奠定了堅實的基礎，也推動了數(shù)字圖像處理這門學科的誕生。&l

33、t;/p><p>　　數(shù)字圖像處理取得的另一個巨大成就是在醫(yī)學上獲得的成果。1972年英國EMI公司工程師Housfield發(fā)明了用于頭顱診斷的X射線計算機斷層攝影裝置 CT（Computer Tomograph）。CT的基本方法是根據(jù)人的頭部截面的投影，經(jīng)計算機處理來重建截面圖像，稱為圖像重建。1975年EMI公司又成功研制出全身用的CT裝置，獲得了人體各個部位鮮明清晰的斷層圖像。1979年，這項無損傷診斷技術獲得

34、了諾貝爾獎，說明它對人類作出了劃時代的貢獻。 </p><p>　　與此同時，圖像處理技術在許多應用領域受到廣泛重視并取得了重大的開拓性成就，屬于這些領域的有航空航天、生物醫(yī)學工程、工業(yè)檢測、機器人視覺、公安司法、軍事制導等，使圖像處理成為一門引人注目、前景遠大的新型學科。</p><p>　　1.4本文的研究工作與創(chuàng)新點</p><p>　　在圖像處理中，文檔圖像

35、處理一直是眾多學者研究的課題。隨著計算機技術的普及，文檔扭曲的現(xiàn)象變得越來越常見，如何對扭曲文檔圖像進行恢復逐漸成為當今圖像處理的研究熱點之一。</p><p>　　本文的工作主要是對扭曲文檔圖像的恢復技術進行研究。我們結合對2D文檔圖像的分析，參考當前適用于西文的扭曲恢復算法，擬找出一種適合于扭曲狀態(tài)下的中文文檔恢復技術，且該技術不依賴于為保證文檔圖像質量而做的各種假設。研究過程中，作者進行了大量實驗，得到一系

36、列有價值的結論，完成了一定的創(chuàng)新性工作。</p><p>　　本文的創(chuàng)新工作主要體現(xiàn)在以下幾方面：</p><p>　　1、將文檔圖像扭曲恢復的研究對象從西文轉移到中文，對扭曲狀態(tài)下的中文文檔特征進行觀察與分析，通過試驗比較，找出適合中文處理的相關參數(shù)。</p><p>　　2、在文檔圖像扭曲恢復的過程中采用極限的思想，分割文本行基線曲線，我們認為被合理分割的曲線片

37、段是線性的。利用該思想可以將復雜的曲線處理轉化為直線處理。</p><p>　　3、在文檔圖像后處理中，針對中文復雜的背景特征，摒棄背景的直接載入，轉用簡單的均值法處理代替，使得處理后的效果更好。</p><p>　　第二章 文檔圖像處理</p><p>　　文檔作為信息的載體，在社會生活中占有著十分重要的地位。通常，我們可以把存儲在計算機中或紙上的一切具有閱讀意義

38、的信息稱為文檔。為能簡便有效地使用和管理信息，自上世紀六十年代以來，人們進行了大量關于文檔處理系統(tǒng)的研究。文檔可以通過掃描儀、數(shù)碼相機或文檔處理系統(tǒng)進入計算機，轉化為文檔圖像或者電子文檔，從而使人們能夠方便有效地對其進行存儲、管理、傳輸。</p><p>　　2.1文檔圖像的概述</p><p>　　2.1.1文檔圖像獲取</p><p>　　近年來，數(shù)字化文檔被廣

39、泛應用于辦公自動化、數(shù)字化圖書館、工業(yè)自動化等領域。隨著科技的發(fā)展，傳統(tǒng)掃描儀體積大、效率低、攜帶不方便等不足之處日益突出，而數(shù)字照相機體積小、價位低，可以很容易地攜帶并結合到手機、 手提電腦以及各種網(wǎng)絡設備中去，它還可以遠距離地對背景文字及脆弱的珍貴文檔拍照， 更適用于無約束環(huán)境下的數(shù)字化操作。因此，將數(shù)字照相機引入文檔圖像分析已經(jīng)引起越來越多人的關注。</p><p>　　Newman的調(diào)查表明，從報紙上提取

40、段落時，基于PC攝像頭的OCR操作比基于掃描儀的OCR操作效率高得多；Fisher等調(diào)查了在戰(zhàn)場上用數(shù)字攝像機替換士兵攜帶sheet-fed掃描儀的可能性。經(jīng)證實，數(shù)字攝像機能夠以200dpi拍攝整張A4文檔紙，已經(jīng)達到OCR所要求的分辨率。</p><p>　　在過去的20年中，基于攝像機的文檔分析已經(jīng)有一定的應用，如自動閱讀執(zhí)照、書籍雜志分類，貨運車ID、公路掛牌、危險標志識別等。</p>&l

41、t;p>　　2.1.2文檔圖像獲取中的難題</p><p>　　用數(shù)字照相機拍攝的文檔圖像也有新問題需要解決：當文檔表面彎曲變形時，數(shù)字相機拍到的文字及圖形圖像將會產(chǎn)生畸變；在掃描儀中，也會出現(xiàn)這一現(xiàn)象。文檔圖像的變形對后續(xù)處理工作，如 OCR識別、 數(shù)字文檔的版面分析、格式處理以及文檔自動化都帶來極大困難，因此必須首先通過圖像矯正的方法對這種變形文檔進行圖像恢復。</p><p>

42、　　在2001年的數(shù)字化項目中，德國代表哲學家Nietzsche在Duisburg–Essen大學對創(chuàng)作于1865至1945年的文本文檔做了數(shù)字轉換。這次轉化的過程既復雜又耗時。很多文檔使用德國哥特體（fraktur）活字技術印刷出來，而現(xiàn)在的OCR程序對fraktur活字識別不很理想，因此常常伴隨著人工修改。對于那些質量差一些的以原始影印文件為主的文學來源，數(shù)字化過程則需要進一步的人工互動。其中陰影、傾斜和扭曲都會極大的降低OCR識別

43、的準確度。</p><p>　　2.2文檔圖像的處理</p><p>　　文檔圖像處理包含許多方面，下面對一些重要的技術做簡要說明。</p><p>　　2.2.1圖像去色及二值化</p><p>　　存儲在紙上的文檔，若要輸入計算機中，首先要通過掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過程

44、。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對灰度圖像的。在進入識別階段時，識別引擎一般是針對二值圖像的。因此，我們必須對輸入的圖像進行處理，將其二值化。</p><p>　　圖像的二值化處理就是將圖像上的像素點的灰度值設置為0或255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果。</p><p>　　將256亮度等級的灰度圖像通過適當?shù)拈y值選取而獲得仍然可以

45、反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位。首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。</p><p>　　在我們所研究的文檔圖像處理這一特定領域中，圖像的二值化一般是指將灰度圖像轉化為只包含黑、白兩個灰度的二值圖像。文檔圖像可以看作是由文字、背景

46、、圖片三類對象組成，而我們最關心的是文字區(qū)域二值化后的結果。</p><p>　　圖像的這種轉換必然會引起信息丟失，因此采用什么樣的算法能夠最大限度地保留識別時必需的信息（如字符的連通性），去掉不必要的背景信息和噪聲，并且執(zhí)行時間在實際可接受的范圍內(nèi)，是人們一直以來努力研究的問題。</p><p>　　2.2.2傾斜檢測與校正</p><p>　　文檔處理系統(tǒng)要求的

47、處理對象是工整的文檔圖像，或者傾斜角度已知，否則許多對圖像的操作，例如投影分析，圖像分割等就無法進行。顯然，掃描進計算機的文檔圖像無法保證一定是正的，因此需要利用傾斜檢測和校正的方法對其進行處理。經(jīng)常采用的傾斜角度檢測的方法有：基于文本行的檢測方法，投影輪廓分析方法，和Hough變換方法等。 基于文本行的檢測可以用于已知文本行方向（水平或豎直）的文檔圖像，它利用了對圖像中連通體的分析。我們知道，連通體是一個灰度值相同的像素的集合，這

48、個集合中任意兩個像素之間都是8-近鄰關系?？梢杂冒B通體內(nèi)像素的最小矩形來表示連通體，它描述了連通體的大小和位置信息。如果已知文本行方向，我們就可以將連通體合并成文本行，并用直線逼近。該直線的傾斜角即為文本行的傾斜角。對整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。 投影操作也是一種基本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標軸上分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如

49、果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷。基于這一點，我們可以在候選傾斜角</p><p>　　2.2.3版面結構理解</p><p>　　文檔圖像幾何結構的理解也稱為版面拆解，它是文檔圖像分析中的一個重要問題。版面拆解的目的是生成一個描述文檔圖像的層次結構：幾何結構。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識別和文字識別做好準備。版面拆解的方法一般有

50、如下三種： 1.自底向上（Bottom-Up，也稱為數(shù)據(jù)驅動）。這類方法利用圖像的局部信息，通過逐步將具有相同屬性的區(qū)域合并，得到對文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。 2.自頂向下（Top-Down，也稱模型驅動）。該方法從圖像全局出發(fā)，逐步對圖像進行分割，最后得到圖像的幾何結構。對Manhattan式的版面，該方法快速而且有效；但是對復雜文檔效果欠佳。影響自頂向下方法有效性的因素包

51、括文本行位置的隨意性，區(qū)域形狀的不規(guī)則性以及文檔圖像的傾斜等。 3.綜合方法（Hybrid）則盡量綜合上述兩種方法的特點，使算法的性能和適應性都得到提高。</p><p>　　2.3扭曲文檔圖像的處理</p><p>　　扭曲文檔圖像的恢復是當今圖像處理的研究熱點之一，隨著更多學者的加入，目前已出現(xiàn)一些文檔圖像的扭曲恢復技術。這些技術大致劃分為兩類：基于2D文檔圖像分析的恢復技術和基于

52、3D文檔模型重建的恢復技術。</p><p>　　2.3.1基于2D文檔圖像分析</p><p>　　基于2D文檔圖像分析的算法，摒棄對扭曲現(xiàn)象的幾何模擬，直接對文檔圖像進行分析，包括傾斜度、文本行、字符或詞組特征，然后設計出一種不受文檔圖像以外因素影響的扭曲恢復技術。該算法不需要清楚的知道扭曲造成的原因。</p><p>　　Wu和Agam在其文獻[7]中提出一種

53、方法，該方法在給定角度范圍內(nèi)通過最小化局部累積投影從而檢測和跟蹤單文檔圖像中彎曲的文本行。這種算法是從給定區(qū)域的左邊界（假設左邊界是接近垂直的并由人為保證）開始，逐漸跟蹤這些彎曲的文本行。這些文本行用于重建可用于恢復扭曲的目標框架。在文獻[7]中這種算法被應用于由數(shù)碼相機拍攝的低透率的文檔。他們沒有在文檔和相機的成像面的角度上加任何限制。另一方面，利用這種方法所呈現(xiàn)的結果仍然在文檔的扭曲區(qū)域存在文字的失真。</p><

54、;p>　　Zhang和Tan在文獻[8]中提出的算法，是通過光明區(qū)與從合訂本掃描的灰度級文檔圖像造成的陰影區(qū)之間的區(qū)別進行彎曲檢測的。圖像扭曲的部分在陰影區(qū)，連接組件的文本行可用近似于二次方程的曲線描述。而在非陰影區(qū)域的文本行則可參考近似直線確定。陰影區(qū)中兩曲線的結合處的相對位置用以參照非陰影區(qū)域相應的直線，上下垂直的移動連接組件的曲線，直到其方向與兩曲線切線的平均角度相吻合。</p><p>　　2.3.

55、2基于3D文檔模型重建</p><p>　　基于3D文檔模型重建的算法，主要從造成文檔扭曲的因素出發(fā)，包括文檔及其擺放角度、光源方向、圖像獲取設備特征等因素。通過綜合分析，嘗試找出文檔理想的3D模型從而對扭曲現(xiàn)象進行模擬，再利用已有的數(shù)學知識進行恢復。該算法的優(yōu)勢在于可利用已有知識，很好地模擬文檔扭曲的幾何模型。</p><p>　　在文獻[9]中，Cao et. al.針對由數(shù)碼相機拍攝

56、文檔造成的扭曲提出了一種圓通模型。他們的糾正算法僅局限于書形成的圓筒表面的母線平行于成像面的情況，即3D文檔模型成圓柱狀。</p><p>　　Zhang et. al.發(fā)表的文獻[10]中提出了一種算法，可以恢復文檔扭曲。這種文檔扭曲在掃描較厚的合訂本時產(chǎn)生的，而且書的脊柱與掃描光線是平行的?？梢?，現(xiàn)有基于模型算法的局限就在于他們需要很多前提條件。目前還尚沒有一種幾何模型可以適用于任何形式下扭曲文檔圖像的識別與

57、自動恢復。</p><p>　　2.3.3比較與分析</p><p>　　基于分析的和模型的算法都能提高OCR的識別率。結果顯示，在第一類算法中糾正過的文本中剩余的彎曲率較高，但其邊界適應性仍是明顯的優(yōu)勢。由于我們項目中的原始文檔經(jīng)常不可靠，外部因素不確定，加上數(shù)字化和處理文檔的過程可能處于分布式，因此第二類算法顯得不適用。</p><p><b>　　2

58、.4本章小結</b></p><p>　　本章主要介紹了文檔圖像處理的相關知識，從文檔圖像的獲取及獲取中遇到的難題入手，介紹了文檔圖像的處理技術，進而引申到扭曲文檔圖像的處理，并對現(xiàn)有扭曲文檔圖像的兩種恢復技術原理做了簡要說明。</p><p>　　第三章2D文檔圖像扭曲恢復的預處理</p><p>　　本文提出的基于2D文檔圖像分析的扭曲恢復技術，整

59、體分為三步：預處理、扭曲恢復和后處理。其中，預處理將在本章系統(tǒng)分析與設計之后進行介紹；扭曲恢復是本文研究工作的創(chuàng)新點，將在第四章單獨進行詳細介紹；后處理與最終的實驗結果分析將在第五章中作說明。本章從扭曲恢復的前期工作著手，對該技術的流程與設計，以及圖像的預處理進行詳細描述。</p><p>　　3.1系統(tǒng)分析與設計</p><p>　　3.1.1扭曲恢復技術流程</p>&l

60、t;p>　　文獻[2-3]對各種基于2D文檔圖像分析的方法進行描述，然而這些方法處理的對象都是西文。眾所周知，中文和西文有著很大的區(qū)別，因此以上很多方法在處理扭曲的中文文檔時不實用。這里從當前處理西文的方法出發(fā)，結合扭曲狀態(tài)下的中文特征，找出一種簡單有效的中文文檔扭曲恢復技術。技術流程如圖3-1。</p><p>　　圖3-1 扭曲恢復技術的流程</p><p>　　按照流程，輸入的

61、各種扭曲文檔圖像，經(jīng)過若干處理后，輸出為扭曲校正后的圖像。下面圍繞各處理過程的用途進行簡要說明。</p><p><b>　　預處理</b></p><p>　　文檔圖像預處理，是將種類繁多的格式歸一化為程序易處理的位圖格式，且處理成為效果較好的二值化圖像，為其扭曲恢復做好準備。過程中涉及到格式轉換，圖像去色及二值化，以及噪聲消除等。</p><p

62、><b>　　扭曲恢復</b></p><p>　　在扭曲恢復中，我們首先對預處理后的二值化扭曲圖像進行分析，采用相關的技術和算法對其中扭曲的文本進行恢復，然后輸出。該步主要包含了字符和文本行標識，曲線分割與傾斜校正，以及扭曲恢復等。</p><p><b>　　后處理</b></p><p>　　扭曲恢復后的圖像有

63、明顯的信息丟失，后處理將最大限度的保存處理后的結果，并盡可能的進行信息補充與恢復，主要包括斷筆的修復和背景色的載入。</p><p>　　扭曲恢復技術的原理及具體實現(xiàn)在第三章至第五章中做了詳細描述。</p><p>　　3.1.2需求分析與系統(tǒng)設計</p><p><b>　　1、需求分析</b></p><p>　?。?/p>

64、1）目的:對扭曲的文檔圖像進行一定的恢復。</p><p>　?。?）范圍:通過照相、掃描、復印等獲取的扭曲的文檔圖像。</p><p>　?。?）系統(tǒng)開發(fā)環(huán)境：</p><p>　　操作系統(tǒng)：Window XP professional.</p><p>　　開發(fā)環(huán)境及語言：Visual Studio 2005 、C#</p>

65、<p><b>　　2、系統(tǒng)設計</b></p><p><b>　?。?）用戶界面設計</b></p><p><b>　　圖3-2 用戶界面</b></p><p><b>　?。?）主菜單設計</b></p><p>　　圖3-3 主菜

66、單界面</p><p>　　扭曲恢復處理的菜單主要包括預處理（Preprocessing）、扭曲恢復（Dewarping）、后處理（POstprocessing）以及過程（ProGress），如圖3。 其中，預處理中包含了噪聲去除、圖像去色、和圖像二值化；扭曲恢復包括文本行與字符標識、曲線分割與傾斜校正、字符平移；后處理則是斷筆修復及背景載入；過程主要對處理過程的結果進行呈現(xiàn)，具體如圖3-4。</p>

67、<p><b>　　圖3-4 過程菜單</b></p><p>　　3.2文檔圖像預處理</p><p><b>　　3.2.1圖像去色</b></p><p>　　圖像去色就是將圖像的顏色信息去掉，轉換成灰度圖像。由于本課題選取了合理的開發(fā)環(huán)境，可以容易地將各種格式的圖像轉換為易于像素計算的位圖。然后利用公

68、式（3-1），將彩圖轉換為灰度圖像。</p><p>　　Gray = 0.11 * Red + 0.59 * Green + 0.3 * Blue（3-1）</p><p>　　實驗表明，該方法灰度處理的效果較好，如圖3-5-圖3-6。</p><p><b>　?。╞）</b></p><p>　　圖3-5

69、 彩色圖像的灰度化：（a）處理前 （b）處理后</p><p><b>　?。╝）</b></p><p><b>　?。╞）</b></p><p>　　圖3-6 文檔圖像的灰度化：（a）處理前 （b）處理后</p><p><b>　　3.2.2噪聲消除</b></p

70、><p>　　圖像噪聲是干擾圖像正常顯示的無用信息，給圖像的處理帶來很大的麻煩。因此在圖像預處理中都會針對性的將噪聲消除。</p><p>　　3.2.2.1噪聲消除的方法</p><p>　　消除噪聲的經(jīng)典方法很多，下面簡要介紹其中的幾種：</p><p><b>　　1、均值濾波器</b></p><

71、p>　　它是用一個有奇數(shù)點的滑動窗口在圖像上滑動，將窗口中心點對應的圖像像素點的灰度值用窗口內(nèi)的各個點的灰度值的平均值代替，如果滑動窗口規(guī)定了在取均值過程中窗口各個像素點所占的權重，也就是各個像素點的系數(shù)，這時候就稱為加權均值濾波。</p><p>　　2、自適應維納濾波器</p><p>　　它能根據(jù)圖像的局部方差來調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強。它的最終目標

72、是使恢復圖像f^（x，y）與原始圖像f（x，y）的均方誤差e2=E[（ f（x，y）- f^ （x，y）） 2]最小。該方法的濾波效果比均值濾波器效果要好，對保留圖像的邊緣和其他高頻部分很有用，不過計算量較大。維納濾波器對具有白噪聲的圖像濾波效果最佳。</p><p><b>　　3、中值濾波器</b></p><p>　　它是一種常用的非線性平滑濾波器，其基本原理是

73、把數(shù)字圖像或數(shù)字序列中一點的值用該點的一個領域中各點值的中值代換。其主要功能消除孤立的噪聲點，所以中值濾波對于濾除圖像的椒鹽噪聲非常有效。中值濾波器可以做到既去除噪聲又能保護圖像的邊緣，從而獲得較滿意的復原效果，而且，在實際運算過程中不需要圖像的統(tǒng)計特性，這也帶來不少方便，但對一些細節(jié)多，特別是點、線、尖頂細節(jié)較多的圖像不宜采用中值濾波的方法。</p><p>　　3.2.2.2噪聲消除的實現(xiàn)</p>

74、<p>　　我們采用了加權均值濾波器對噪聲進行消除，參考公式（3-2）。其算法偽代碼如下：</p><p>　　private Bitmap NoiseRemoving（）</p><p><b>　　{</b></p><p>　　for （int i = 0; i < W; i++）//當前圖像寬度為W，高度

75、為H</p><p>　　for （int j = 0; j < H; j++）</p><p><b>　　{</b></p><p>　　獲取當前點的顏色cColor；</p><p>　　調(diào)用函數(shù)get33Paras（）獲取當前點的均值aveGray與方差variance；</p><p&

76、gt;　　if （variance != 0）//方差不為零</p><p><b>　　{</b></p><p>　　調(diào)用get33aveVariance（）獲取當前點的均差AveVariance；</p><p>　　dRGB = aveGray+（（variance-AveVariance）*（cColor.R-aveGra

77、y）/variance）；</p><p>　　利用以上公式求出當前點的灰度iRGB；</p><p>　　將當前點設置為求出的iRGB；</p><p><b>　　}</b></p><p><b>　　else</b></p><p>　　設置為原來的灰度值；</

78、p><p><b>　　}</b></p><p><b>　　}</b></p><p>　　3.2.2.3實驗結果與分析</p><p>　　通過上述算法處理，噪聲消除后的實驗結果如圖3-7。</p><p><b>　?。╝）</b></p>

79、;<p><b>　?。╞）</b></p><p>　　圖3-7 噪聲消除：（a）處理前 （b）處理后</p><p>　　由于圖3-7（a）圖片質量較高，噪聲較少，因此處理結果的改進在肉眼看來不是很明顯。但當我們處理的圖片中噪聲較多的時候，噪聲處理是必須的，而且效果較為明顯，如圖3-8。</p><p>　?。╝）

80、（b）</p><p>　　圖3-8 較多噪聲消除：（a）處理前 （b）處理后</p><p>　　3.2.3圖像二值化</p><p>　　圖像二值化方法很多，大致分為全局閾值二值化和局部自適應閾值二值化。不同的二值化方法得出的結果也相差甚遠，全局閾值二值化無論從算法時空復雜度還是實現(xiàn)難易都很簡單，但效果不理想；局部自適應閾值二值化算法復雜度較高，實現(xiàn)復雜，

81、但效果較好。因此，如何選擇合適的二值化算法至關重要。經(jīng)過試驗對比，這里選擇文獻[11]提出的二值化方法。</p><p>　　3.2.3.1二值化算法</p><p><b>　　1、算法步驟</b></p><p>　　本文采用的二值化方法分為以下幾步：</p><p>　?。?）噪聲消除，灰度值圖像I經(jīng)濾波去噪處理成

82、灰度值圖像II，如公式: </p><p><b>　　（3-2）</b></p><p>　　這里的濾波去噪在上一節(jié)的噪聲處理中已完成。</p><p>　?。?）以文獻[12]的方法，獲取前景區(qū)域的粗略估算。其中閾值的確定有公式：</p><p>　　T=m+（ 1-k*（ 1-S/R））

83、 （3-3）</p><p>　　式中m為均值，S為局部標準差，R為動態(tài)標準差（取128），k=0.2/0.5 [0，1]。</p><p>　?。?）計算圖像II的背景區(qū)域B，如下公式：</p><p><b>　　（3-4）</b></p><p>　?。?）通過背景表面B與圖像II的組合預測，確定最后閾值d，

84、進行二值化，采用如下公式:</p><p><b>　?。?-5）</b></p><p><b>　　2、算法實現(xiàn)</b></p><p>　　（1）Sauvola前景估算</p><p>　　private Bitmap SauvolaBinarization（）</p><

85、p><b>　　{</b></p><p>　　for （int i = 1; i < Bmp.Width-1; i++）</p><p>　　for （int j = 1; j < Bmp.Height-1; j++）</p><p><b>　　{</b></p><p&g

86、t;　　調(diào)用函數(shù)get33Paras（）求出相關參數(shù)m和S，再利用以下公式求出閾值T；</p><p>　　T = 0.9 * m + （1 - 0.2 * （1 - S / R））;//參數(shù)意義詳見公式（3-3）</p><p>　　if （Bmp.GetPixel（i， j）.R > T）//當前點灰度大于閾值</p><p>　　將該點設置為背

87、景色；</p><p><b>　　else</b></p><p>　　將該點設置為前景色；</p><p><b>　　}</b></p><p><b>　　}</b></p><p><b>　?。?）背景預測</b><

88、;/p><p>　　利用原圖及前景圖的像素距離進行背景預測，偽代碼如下：</p><p>　　private Bitmap getBG（Bitmap prebmp， Bitmap frontbmp）</p><p><b>　　{</b></p><p>　　for （int i = 1; i < curBmp.Wid

89、th-1; i++）</p><p>　　for （int j = 1; j < curBmp.Height-1; j++）</p><p><b>　　{</b></p><p>　　調(diào)用函數(shù)求出前景閾值T；</p><p>　　if （curBmp.GetPixel（i， j）.R > T）//

90、公式（3-4）的兩分支</p><p>　　nColor = curBmp.GetPixel（i， j）;</p><p><b>　　else</b></p><p><b>　　{</b></p><p>　　調(diào)用getMotherAndSon（）求公式（3-4）中S（x，y）=1的分支中的分母

91、M和分子S；</p><p>　　根據(jù)公式B=S/M，求出背景灰度igray，并保存；</p><p>　　nColor = Color.FromArgb（nColor.A， igray， igray， igray）;</p><p><b>　　}</b></p><p>　　newBmp.SetPixel（i， j，

92、 nColor）;//設置當前顏色</p><p><b>　　}</b></p><p>　　} </p><p><b>　?。?）二值化</b></p><p>　　由前景圖和背景圖的估算確定最終閾值，采用公式（3-5）對圖像進行二值化，具體代

93、碼不再贅述，這里給出聲明。另外上述算法調(diào)用了函數(shù)get33Paras（）和getMotherAndSon（），前者用于求當前點3*3矩陣的灰度均值和方差，后者主要求公式（3-4）中S（x，y）=1的分支中的分母和分子，其聲明如下：</p><p>　　private Bitmap GatosBianrization（Bitmap preBmp， Bitmap bgBmp， Bitmap frontBmp）;<

94、;/p><p>　　private void get33Paras（Bitmap bmp， int x， int y， Double[] data）;</p><p>　　private void getMotherAndSon（Bitmap prebmp， Bitmap bmp， int x， int y， int windowW， int windowH， </p><

95、p>　　int[] motherAndSon）;</p><p>　　3.2.3.2實驗結果與分析</p><p>　　實驗證明，本文采用的二值化方法在對文檔圖像進行處理時，時間復雜度較全局閾值二值化要偏高，但其處理效果較好，這對后續(xù)字符和文本行標識至關重要。以圖3-6（b）作為處理對象，進行實驗結果對比，如圖3-9。</p><p><b>　　（

96、a）</b></p><p><b>　?。╞）</b></p><p><b>　　（c）</b></p><p>　　圖3-9 文檔圖像二值化：（a）原圖 （b）全局閾值二值化 （c）本文采用的方法</p><p><b>　　3.3本章小結</b></p

97、><p>　　本章主要介紹了扭曲恢復技術的系統(tǒng)分析與設計，及文檔圖像的預處理。經(jīng)過預處理，輸入的扭曲文檔圖像將轉化為質量較好的二值化圖像，為下一章的扭曲恢復做好鋪墊。</p><p>　　第四章文檔圖像的扭曲恢復</p><p>　　本章是整個扭曲恢復技術的重點，也是本文研究工作中的創(chuàng)新點。這里從二值化圖像的分析開始，結合對文檔特征的觀察與分析，經(jīng)過字符和文本行標識、

98、曲線分割與傾斜校正、以及字符平移的幾步處理，完成對二值圖像的扭曲恢復。</p><p>　　4.1字符和文本行標識</p><p>　　字符標識，是指在文檔圖像中將具有獨立意義的字符用特殊符號表示出來，如英文單詞、中文漢字等。實際上，在缺乏詞庫的情況下完全準確的標識出字符是不可能的。因此只能結合文檔特征，通過參數(shù)設置標識出盡可能多的獨立字符。</p><p>　　文

99、本行標識，是指將文檔圖像中的文本行用特殊符號表示出來。文本行標識的方法很多，如基于直線擬合[13]、基于連通性檢測[14]和基于投影等。</p><p>　　本文是通過連通性檢測，并用不同顏色對各行各字加以區(qū)分。</p><p>　　4.1.1標識的步驟</p><p>　　文獻[15]已提出了標識的算法，該算法中的檢測參數(shù)只適用于西文。本課題處理對象為扭曲的中文文

100、檔圖像，針對該對象的特點，本文采用基于連通性檢測的標識方法，主要參考文獻[15]和[16]，并在此基礎上調(diào)整，通過試驗對比，找出合適的字符和文本行標識方法。該方法分為以下兩個步驟：</p><p>　?。?）邊界歸零。將圖像的邊界像素歸一化為背景色，這種設置類似哨兵，可降低算法實現(xiàn)的復雜性。</p><p>　?。?）一次掃描標識。按照從左至右，從上到下原則，從圖像的起始像素開始掃描。過程

101、中，利用前景像素的連通性，對當前像素的8個相連像素進行判斷，若存在一個連通的點，則再對該點進行遞歸判斷，直至8個相連像素中均無連通像素為止，后用合適的顏色加以標識。這里，連通像素的參數(shù)設置為3*3矩陣，也可設置其他參數(shù)，即可進行不同大小的文本塊標識，若參數(shù)合適，可直接將文本行標識出。</p><p>　　4.1.2標識算法偽代碼</p><p>　　標識算法很重要，因此這將對后續(xù)的曲線分割

102、，以及字符平移的影響很大，算法偽代碼如下：</p><p>　　/// 輸入：邊界歸零圖像，標識參數(shù)[字檢測（?。?---->（大）行檢測]</p><p>　　/// 輸出：標志后的圖像</p><p>　　private Bitmap Label（Bitmap Bmp， int size）</p><p><b>　　{&

103、lt;/b></p><p>　　初始化標志圖像boolBmp；</p><p>　　for （int j = 0; j < Bmp.Height; j++） //字塊標示</p><p><b>　　{</b></p><p>　　for （int i = 0; i < Bmp.Width;

104、i++）</p><p><b>　　{</b></p><p>　　if （ZBColor.R == 0） //如果為前景色</p><p><b>　　{</b></p><p>　　記錄當前點curr；</p><p>　　如果當前點處理過，或者堆棧中已

105、經(jīng)含有堆棧，則continue操作；</p><p>　　通過調(diào)用getConnected（）函數(shù)將連通性的點壓入堆棧Stack；</p><p>　　隨機生成一種顏色RdColor；</p><p>　　while （Stack.Count != 0）//堆棧不為空</p><p><b>　　{</b><

106、/p><p>　　將堆棧中的點設置為RdColor；</p><p>　　標志圖像boolBmp設置為臟標記，標明改點已處理過；</p><p><b>　　}</b></p><p><b>　　}</b></p><p><b>　　else</b>&l

107、t;/p><p><b>　　否則設置為原色；</b></p><p><b>　　}</b></p><p><b>　　}</b></p><p><b>　　}</b></p><p>　　4.1.3實驗結果與分析</p&g

108、t;<p>　　以圖3-9（c）為處理對象進行標識，結果如圖4-1：</p><p><b>　?。╝）</b></p><p><b>　　（b）</b></p><p>　　圖4-1 標識圖像：（a）字符標識 （b）文本行標識</p><p>　　標識采用的是字符連通性原理，因此參

109、數(shù)的設置直接影響到標識的效果。由于漢字的復雜性，在字符標識的過程中，參數(shù)過小，容易出現(xiàn)一個漢字被標識為多色（理想情況是一字一色）；反之則會出現(xiàn)多個漢字標識為一色，如圖4-2。行標識同樣存在這種情況（如圖4-3），如果參數(shù)設置合適即可標識出整行。</p><p>　　圖4-2 字標識的兩種情況</p><p>　　圖4-3 行標識的兩種情況</p><p>　　因此，

110、需要通過不斷的調(diào)試與試驗找出合適的參數(shù)。通過試驗對比，本文針對字符和文本行標識設置的參數(shù)分別為k=3和k=18。</p><p>　　4.2曲線分割與傾斜校正</p><p>　　已知文字行方向，將連通體合并成文字行，并用直線逼近。該直線的傾斜角即為文字行的傾斜角。對整幅圖像的文字行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。該方法是基于統(tǒng)計的原理，用出現(xiàn)頻率最高的角度代替所

111、有文本行的傾斜角度。對于接近整體傾斜的文檔圖像（圖4-4），這種方法是合理的，且處理效率較高。然而對于扭曲的文檔圖像，甚至扭曲程度較高的圖像（圖4-5），該方法適用性就大大降低。</p><p>　　圖4-4 傾斜的文檔圖像</p><p>　　圖4-5 扭曲的文檔圖像</p><p>　　還有一種思想則是取該文本行基線曲線上被認為是最有代表性的切線斜率直接代替整個

112、曲線斜率。</p><p>　　本文采用極限思想，即當截取曲線的片段小至一定程度時，我們認為截取的片段為直線線段。比起以上兩種方法，容易知道，這種極限思想無論是在整體傾斜的情況下還是在扭曲程度比較高的情況下，均比較合理。采用該思想，可將復雜的曲線處理轉化為直線處理，因為被截取的片段是被認為是傾斜非扭曲的。</p><p>　　具體做法是采用行內(nèi)逐字跟蹤，記錄各漢字包圍框的上下邊界點，也即是

113、對已知點求插值曲線。無論是線性，還是扭曲，求出的曲線都是文本行基線的最好描述，因此是合理的。再通過兩漢字間的兩點確定一直線，測定該直線參數(shù)并進行傾斜校正，以此類推至處理完該行整條曲線，而后拓展至整個文檔圖像。</p><p>　　圖4-6 傾斜校正對比</p><p>　　圖4-6是以圖3-7（b）為對象進行曲線分割與傾斜校正的對比情況，圖中的劃線是由兩個標識字符確定的直線，在文本行曲線中

114、，它被認為是線性的。通過對該片段直線的分析測定，可以對兩標識字符進行傾斜校正，對比效果如圖中圈出A-E組的單詞。</p><p><b>　　4.3字符平移</b></p><p>　　4.3.1平移的思想</p><p>　　在極限思想下，行內(nèi)很多詞組被認為是傾斜的，經(jīng)校正后，該詞組處于類水平位置，但整行沒有在同一水平位置上（如圖4-6）。這

115、就需要將同一行的字符或詞組按照該行的基準點進行平移，至該行內(nèi)所有字符或詞組處于該水平位置。經(jīng)過校正和平移處理后即得到扭曲恢復的二值化文檔圖像。</p><p>　　4.3.2平移算法偽代碼</p><p>　　扭曲恢復分為兩步，第一步是傾斜校正，既是將文本行基線曲線進行合理分割，然后對分割的片段做傾斜校正，如4.2節(jié)描述。</p><p>　　第二步是字符平移，將同

116、行的字符平移至同一水平位置，偽代碼描述如下：</p><p>　　private Bitmap Shift（Bitmap RotateBmp，Bitmap Bmp，Bitmap boolBmpL，Bitmap boolBmpW）</p><p><b>　　{</b></p><p>　　for （int j = 0; j < Bmp.H