自然圖像中文字檢測(cè)與識(shí)別研究.pdf

1、作為人類(lèi)思想和情感的一種重要載體，文字在人類(lèi)生產(chǎn)和生活的各個(gè)方面扮演著十分重要的角色。文字是普遍存在的元素，尤其是在現(xiàn)代城市環(huán)境中，文字幾乎無(wú)處不在。比如，海報(bào)、標(biāo)簽、名片、車(chē)牌、路牌和廣告牌等，都包含大量的文字。自然場(chǎng)景中的文字可以傳達(dá)豐富而準(zhǔn)確的高層語(yǔ)義信息，是理解場(chǎng)景內(nèi)容的關(guān)鍵元素，因此自動(dòng)文字檢測(cè)和識(shí)別技術(shù)在圖像搜索、地理定位、人機(jī)交互、機(jī)器人導(dǎo)航、無(wú)人駕駛汽車(chē)和工業(yè)自動(dòng)化等諸多領(lǐng)域具有廣闊的應(yīng)用前景。
　　傳統(tǒng)的光學(xué)字符

2、識(shí)別(OCR)僅針對(duì)文檔圖像。文檔圖像一般通過(guò)高精度掃描得到，分辨率高、背景簡(jiǎn)單，其中的文字大多數(shù)情況下字體規(guī)則、色彩單一且排列整齊，因此文字分割和識(shí)別的難度較小。與之相比，自然場(chǎng)景中文字的檢測(cè)和識(shí)別具有相當(dāng)大的挑戰(zhàn)性：一方面，自然場(chǎng)景中的文字具有多樣性，它們可能具有不同的字體、顏色、大小、方向和排列方式，甚至可能屬于不同的語(yǔ)言；另一方面，自然場(chǎng)景中的復(fù)雜背景以及低分辨率、強(qiáng)光、陰影、噪聲、模糊和遮擋等因素，也給文字的檢測(cè)和識(shí)別帶來(lái)巨大

3、的困難。
　　本文研究與自然圖像中文字的檢測(cè)和識(shí)別相關(guān)的基本問(wèn)題，重點(diǎn)探究新穎、有效和魯棒的文字表達(dá)方法和模型，以應(yīng)對(duì)文字檢測(cè)和識(shí)別過(guò)程中的各種困難和挑戰(zhàn)。具體而言，本文從以下三個(gè)方面開(kāi)展研究：
　　(1)自然場(chǎng)景中的文字可能以任意方向排列，而以往的文字檢測(cè)算法假設(shè)文字以水平方向排列，因此無(wú)法處理非水平的文字。提出一種可以從自然圖像中發(fā)現(xiàn)和定位不同方向、不同尺度文字的檢測(cè)算法?；谧匀粓?chǎng)景中文字自身的本質(zhì)特性，設(shè)計(jì)兩組旋轉(zhuǎn)和

4、尺度不變的特征，并提出一種兩層分類(lèi)結(jié)構(gòu)。實(shí)驗(yàn)表明該算法可以檢測(cè)復(fù)雜場(chǎng)景中的任意方向、不同尺度的文字，同時(shí)可有效減少虛警。此外，為更好地測(cè)試、評(píng)估和比較不同的文字檢測(cè)算法，整理和發(fā)布一個(gè)包含多方向文字的自然圖像數(shù)據(jù)集并制定一套適用于多方向文字檢測(cè)的性能評(píng)價(jià)準(zhǔn)則。
　　(2)針對(duì)已有的端到端文字識(shí)別系統(tǒng)只能適應(yīng)水平排列文字的弊端，提出一個(gè)能夠處理任意方向文字的端到端識(shí)別系統(tǒng)。不同于之前的系統(tǒng)，該系統(tǒng)將文字檢測(cè)和識(shí)別作為一個(gè)整體，在檢測(cè)

5、和識(shí)別過(guò)程中共享相同的特征和分類(lèi)結(jié)構(gòu)；可以定位并且識(shí)別自然場(chǎng)景中不同方向排列的文字；為提高文字識(shí)別精度，提出一種新的基于字典搜索的糾錯(cuò)策略。整理和發(fā)布一個(gè)新的包含多方向文字的圖像數(shù)據(jù)集，用于評(píng)估端到端文字識(shí)別算法。實(shí)驗(yàn)表明該系統(tǒng)在標(biāo)準(zhǔn)數(shù)據(jù)集以及發(fā)布的數(shù)據(jù)集上均取得優(yōu)異的檢測(cè)和識(shí)別性能。
　　(3)為進(jìn)一步提高文字識(shí)別精度，提出一種全新的文字表達(dá)模型，稱(chēng)為多尺度筆畫(huà)模型。該表達(dá)模型由一組多尺度中層視覺(jué)元素組成，這些元素通過(guò)無(wú)監(jiān)督的方