自然場景圖像中的文字檢測.pdf

1、隨著低成本高性能移動、數(shù)碼或可穿戴設備的成熟和普及，以及互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)技術的高速發(fā)展，越來越多的新型應用場景中需要利用圖像中的文字信息，從而使得自然場景中的文字提取技術成為了近幾年計算機視覺領域的熱門研究課題。而文字檢測技術作為文字提取技術中的一個核心前端模塊，同樣受到越來越多學者的關注。然而文字本身的高變化度（如各種各樣的字體、大小等）加上自然場景中的不均勻光照，遮擋，模糊，透視變換等客觀因素使得自然場景圖像中的全自動文字檢測問題

2、變得極為困難。本文針對該問題的各個難點進行了深入的分析，提出了一套基于Color-enhanced CER和淺層神經(jīng)網(wǎng)絡的全自動文字檢測系統(tǒng)，并在標準數(shù)據(jù)集上驗證了算法的有效性。此外，在某些特定的應用場景中可以巧妙地利用用戶的交互信息來簡化文字檢測問題的難度，這類問題被稱為基于用戶意圖的文字檢測問題。本文對該類問題也進行了深入的研究，并驗證了圖像的組件樹結構對于解決基于用戶意圖的文字檢測問題的有效性。所以，本文的主要工作可以被劃分為自動

3、的文字檢測和基于用戶意圖的文字檢測兩個部分。
　　自動的文字檢測主要包含兩個核心子問題，即候選文字連通區(qū)域提取和文字/非文字分類。針對第一個問題，本文首先從理論上分析了經(jīng)典的極值區(qū)域方法作為候選文字連通區(qū)域的局限性。為了抑制這些局限性，本文對極值區(qū)域算法提出改進，并提出Color-enhanced CER算法來作為本文的候選文字連通區(qū)域提取算法。文字/非文字分類是文字檢測問題的瓶頸問題，本文從理論上深入闡明了該問題的主要難點及其原

4、因，并指出歧義性問題和不平衡分類問題是導致作為少數(shù)類的文字類泛化能力差的重要原因，而這也正是之前的文字檢測算法召回率低的一個重要原因。為了解決這個問題，本文算法在特征層面，系統(tǒng)層面以及訓練數(shù)據(jù)準備層面上都提出了相應的有效解決方法。在特征層面，本文沒有像之前的方法一樣采用人工設計的特征，而是直接利用神經(jīng)網(wǎng)絡從后續(xù)文字連通區(qū)域所對應的二值圖的原始像素中學出有用的特征，該方法一方面可以避免人工特征提取過程中有用信息的損失，另一方面可以降低算法

5、的計算復雜度。在系統(tǒng)層面，為了克服歧義性問題，本文先利用孤立候選文字連通區(qū)域的形狀或者紋理信息盡可能濾除無歧義非文字連通區(qū)域，以此簡化后面文本行生成算法的難度，再利用文本行信息消除孤立候選文字連通區(qū)域的歧義性問題。其中，為了簡化孤立候選文字連通區(qū)域的文字/非文字分類問題，本文提出“分治”策略將原始問題空間根據(jù)文字本身的特有屬性切分為五個子空間，每個子空間分別利用無歧義學習策略訓練相應的淺層神經(jīng)網(wǎng)絡分類器進行文字/非文字分類。在訓練數(shù)據(jù)準

6、備層面，無歧義學習策略可以很好地抑制歧義性問題和不平衡分類問題導致文字類泛化能力差的問題，從而使得在準備分類器訓練數(shù)據(jù)的時候可以盡可能多且安全地使用從字體庫合成的樣本作為訓練正樣本。使用合成數(shù)據(jù)，一方面可以降低數(shù)據(jù)標注的工作量，另一方面保證訓練數(shù)據(jù)干凈且分布均勻，有助于分類器的性能。另外，通過無歧義學習策略可以有效地采樣出少量且重要的非文字樣本訓練集，從而可以解決數(shù)據(jù)集不平衡問題。由于無歧義學習策略對原始的歧義性問題進行了簡化，所以在通

7、過該策略得到的訓練數(shù)據(jù)集上，淺層神經(jīng)網(wǎng)絡可以得到接近深度神經(jīng)網(wǎng)絡的結果，這樣一來本文就可以直接選用淺層神經(jīng)網(wǎng)絡作為各個文字/非文字分類器，從而大幅降低算法的計算復雜度。本文提出的文字檢測算法在標準數(shù)據(jù)集ICDAR-2011和ICDAR-2013測試集上都取得了很好的結果。
　　針對基于用戶意圖的文字檢測問題，本文提出可以利用圖像的組件樹結構來解決該問題，并驗證了圖像的組件樹結構在解決基于用戶意圖的文字檢測問題上的有效性。相比于傳統(tǒng)