自然場景圖像中的文字檢測(cè).pdf

1、隨著低成本高性能移動(dòng)、數(shù)碼或可穿戴設(shè)備的成熟和普及，以及互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，越來越多的新型應(yīng)用場景中需要利用圖像中的文字信息，從而使得自然場景中的文字提取技術(shù)成為了近幾年計(jì)算機(jī)視覺領(lǐng)域的熱門研究課題。而文字檢測(cè)技術(shù)作為文字提取技術(shù)中的一個(gè)核心前端模塊，同樣受到越來越多學(xué)者的關(guān)注。然而文字本身的高變化度（如各種各樣的字體、大小等）加上自然場景中的不均勻光照，遮擋，模糊，透視變換等客觀因素使得自然場景圖像中的全自動(dòng)文字檢測(cè)問題

2、變得極為困難。本文針對(duì)該問題的各個(gè)難點(diǎn)進(jìn)行了深入的分析，提出了一套基于Color-enhanced CER和淺層神經(jīng)網(wǎng)絡(luò)的全自動(dòng)文字檢測(cè)系統(tǒng)，并在標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了算法的有效性。此外，在某些特定的應(yīng)用場景中可以巧妙地利用用戶的交互信息來簡化文字檢測(cè)問題的難度，這類問題被稱為基于用戶意圖的文字檢測(cè)問題。本文對(duì)該類問題也進(jìn)行了深入的研究，并驗(yàn)證了圖像的組件樹結(jié)構(gòu)對(duì)于解決基于用戶意圖的文字檢測(cè)問題的有效性。所以，本文的主要工作可以被劃分為自動(dòng)

3、的文字檢測(cè)和基于用戶意圖的文字檢測(cè)兩個(gè)部分。
　　自動(dòng)的文字檢測(cè)主要包含兩個(gè)核心子問題，即候選文字連通區(qū)域提取和文字/非文字分類。針對(duì)第一個(gè)問題，本文首先從理論上分析了經(jīng)典的極值區(qū)域方法作為候選文字連通區(qū)域的局限性。為了抑制這些局限性，本文對(duì)極值區(qū)域算法提出改進(jìn)，并提出Color-enhanced CER算法來作為本文的候選文字連通區(qū)域提取算法。文字/非文字分類是文字檢測(cè)問題的瓶頸問題，本文從理論上深入闡明了該問題的主要難點(diǎn)及其原

4、因，并指出歧義性問題和不平衡分類問題是導(dǎo)致作為少數(shù)類的文字類泛化能力差的重要原因，而這也正是之前的文字檢測(cè)算法召回率低的一個(gè)重要原因。為了解決這個(gè)問題，本文算法在特征層面，系統(tǒng)層面以及訓(xùn)練數(shù)據(jù)準(zhǔn)備層面上都提出了相應(yīng)的有效解決方法。在特征層面，本文沒有像之前的方法一樣采用人工設(shè)計(jì)的特征，而是直接利用神經(jīng)網(wǎng)絡(luò)從后續(xù)文字連通區(qū)域所對(duì)應(yīng)的二值圖的原始像素中學(xué)出有用的特征，該方法一方面可以避免人工特征提取過程中有用信息的損失，另一方面可以降低算法

5、的計(jì)算復(fù)雜度。在系統(tǒng)層面，為了克服歧義性問題，本文先利用孤立候選文字連通區(qū)域的形狀或者紋理信息盡可能濾除無歧義非文字連通區(qū)域，以此簡化后面文本行生成算法的難度，再利用文本行信息消除孤立候選文字連通區(qū)域的歧義性問題。其中，為了簡化孤立候選文字連通區(qū)域的文字/非文字分類問題，本文提出“分治”策略將原始問題空間根據(jù)文字本身的特有屬性切分為五個(gè)子空間，每個(gè)子空間分別利用無歧義學(xué)習(xí)策略訓(xùn)練相應(yīng)的淺層神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行文字/非文字分類。在訓(xùn)練數(shù)據(jù)準(zhǔn)

6、備層面，無歧義學(xué)習(xí)策略可以很好地抑制歧義性問題和不平衡分類問題導(dǎo)致文字類泛化能力差的問題，從而使得在準(zhǔn)備分類器訓(xùn)練數(shù)據(jù)的時(shí)候可以盡可能多且安全地使用從字體庫合成的樣本作為訓(xùn)練正樣本。使用合成數(shù)據(jù)，一方面可以降低數(shù)據(jù)標(biāo)注的工作量，另一方面保證訓(xùn)練數(shù)據(jù)干凈且分布均勻，有助于分類器的性能。另外，通過無歧義學(xué)習(xí)策略可以有效地采樣出少量且重要的非文字樣本訓(xùn)練集，從而可以解決數(shù)據(jù)集不平衡問題。由于無歧義學(xué)習(xí)策略對(duì)原始的歧義性問題進(jìn)行了簡化，所以在通

7、過該策略得到的訓(xùn)練數(shù)據(jù)集上，淺層神經(jīng)網(wǎng)絡(luò)可以得到接近深度神經(jīng)網(wǎng)絡(luò)的結(jié)果，這樣一來本文就可以直接選用淺層神經(jīng)網(wǎng)絡(luò)作為各個(gè)文字/非文字分類器，從而大幅降低算法的計(jì)算復(fù)雜度。本文提出的文字檢測(cè)算法在標(biāo)準(zhǔn)數(shù)據(jù)集ICDAR-2011和ICDAR-2013測(cè)試集上都取得了很好的結(jié)果。
　　針對(duì)基于用戶意圖的文字檢測(cè)問題，本文提出可以利用圖像的組件樹結(jié)構(gòu)來解決該問題，并驗(yàn)證了圖像的組件樹結(jié)構(gòu)在解決基于用戶意圖的文字檢測(cè)問題上的有效性。相比于傳統(tǒng)