基于人工神經(jīng)網(wǎng)絡(luò)的光學(xué)字符識別系統(tǒng)及硬件實(shí)現(xiàn)

1、1,基于人工神經(jīng)網(wǎng)絡(luò)的光學(xué)字符識別系統(tǒng)及硬件實(shí)現(xiàn),指導(dǎo)教師：李 祥 教授答 辯 人：楊 揚(yáng),貴州大學(xué)計算機(jī)軟件與理論研究所,2,選題背景及意義,人工神經(jīng)網(wǎng)絡(luò)目前已經(jīng)廣泛地用來解決模式識別和人工智能領(lǐng)域的一些復(fù)雜問題。由于人工神經(jīng)網(wǎng)絡(luò)的非線性以及并行性和魯棒性等特點(diǎn)，在上述領(lǐng)域，其取得了以往傳統(tǒng)算法無法獲得的成功。由于人工神經(jīng)網(wǎng)絡(luò)等新技術(shù)的引入，從上世紀(jì)70年代以來，光學(xué)字符識別技術(shù)逐漸走向成熟。對于脫機(jī)印刷體字符的識別，目前

2、已經(jīng)有了很高的識別率；對于小規(guī)模的手寫體字符識別，也已經(jīng)走向?qū)嵱谩?當(dāng)前，由于半導(dǎo)體加工工藝的進(jìn)步，微處理器的體積越來越小，速度越來越快。這使得構(gòu)建能夠替代PC機(jī)功能而體積更小、造價更低的硬件平臺成為可能。,貴州大學(xué)計算機(jī)軟件與理論研究所,3,選題背景及意義,小規(guī)模光學(xué)字符識別系統(tǒng)應(yīng)用廣泛，有著巨大的商業(yè)前景。如：郵政編碼識別、汽車照牌識別、交通標(biāo)示識別、產(chǎn)品編碼識別等。能夠處理視頻的嵌入式設(shè)備也有著廣泛的應(yīng)用前景。如視頻監(jiān)控、視頻

3、通訊、機(jī)器視覺系統(tǒng)等。,貴州大學(xué)計算機(jī)軟件與理論研究所,4,研究了人工神經(jīng)網(wǎng)絡(luò)及光學(xué)字符識別的基本理論、一般方法：對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展、現(xiàn)狀、理論做了深入的研究。重點(diǎn)研究了BP網(wǎng)絡(luò)的原理、特點(diǎn)、應(yīng)用方法。研究了脫機(jī)光學(xué)字符識別的方法、理論。重點(diǎn)研究了基于K-L變換的字符圖像的特征抽取方法。研究了基于ARM技術(shù)的嵌入式系統(tǒng)的構(gòu)造、設(shè)計：通過實(shí)際動手，研究了基于ARM技術(shù)的處理器的基本構(gòu)造、使用方法；使用并比較了三星4510b、atm

4、el at91rm9200芯片的性能；掌握了高頻印刷版的設(shè)計工藝。研究了Linux操作系統(tǒng)的結(jié)構(gòu)及移植方法：本文的嵌入式系統(tǒng)使用ucLinux或Linux操作系統(tǒng)。通過對操作系統(tǒng)的移植及對其代碼研究，掌握了在ARM系統(tǒng)上移植ucLinux操作系統(tǒng)和Linux操作系統(tǒng)的方法、步驟。,本文所做的主要工作與創(chuàng)新之處,貴州大學(xué)計算機(jī)軟件與理論研究所,5,實(shí)現(xiàn)了圖像處理函數(shù)庫：針對脫機(jī)光學(xué)字符處理的應(yīng)用需要，實(shí)現(xiàn)了一套高效的圖像處理函數(shù)庫，

5、包含圖像轉(zhuǎn)換、圖像抽取、圖像調(diào)整、圖像變換、圖像濾波、邊緣檢測、輪廓跟蹤、輪廓檢測、簡單幾何形狀識別幾大類。實(shí)現(xiàn)了BP人工神經(jīng)網(wǎng)絡(luò)函數(shù)庫：實(shí)現(xiàn)了基于矩陣運(yùn)算的BP神經(jīng)網(wǎng)絡(luò)算法。能夠利用Matlab生成的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行快速的運(yùn)算。 掌握了利用Matlab工具構(gòu)建人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法：Matlab包含了能強(qiáng)大的人工神經(jīng)網(wǎng)絡(luò)工具箱。BP神經(jīng)網(wǎng)絡(luò)的規(guī)模、激活函數(shù)的選擇，直接影響了BP神經(jīng)網(wǎng)絡(luò)的效果。而BP神經(jīng)網(wǎng)絡(luò)的規(guī)模、激活函數(shù)的選擇，

6、目前并沒有完善的理論做支持，必須通過實(shí)驗(yàn)來確定其規(guī)?；蛘呒せ詈瘮?shù)。另外，BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法也必須通過實(shí)驗(yàn)來選取一種最佳的方案。 由于Matlab工具具有可視化效果、Matlab具有完善的訓(xùn)練算法，因此，我們使用Matlab來確定網(wǎng)絡(luò)規(guī)模、結(jié)構(gòu)，并使用Matlab訓(xùn)練BP網(wǎng)絡(luò)。,本文所做的主要工作與創(chuàng)新之處,貴州大學(xué)計算機(jī)軟件與理論研究所,6,實(shí)現(xiàn)了小規(guī)模光學(xué)字符識別算法：利用K-L變換，完成字符圖像的特征抽取，利用BP網(wǎng)絡(luò)，以K-

7、L變換抽取的特征為輸入，完成光學(xué)字符識別。文中利用美國USPS數(shù)據(jù)庫，訓(xùn)練了手寫體阿拉伯?dāng)?shù)字識別網(wǎng)絡(luò)，識別率高于92%。對樣本的每個分類，單獨(dú)構(gòu)造一個BP神經(jīng)網(wǎng)絡(luò)分類器：通常，在構(gòu)造BP神經(jīng)網(wǎng)絡(luò)分類器時，輸出層節(jié)點(diǎn)數(shù)目等于分類的數(shù)目，輸出層每個節(jié)點(diǎn)就對應(yīng)于一個分類。本文中對每個分類都構(gòu)造一個BP網(wǎng)絡(luò)分類器，每個分類器輸出層包含一個節(jié)點(diǎn)，表示樣本為本分類的概率。這樣的設(shè)計，大大降低了BP網(wǎng)絡(luò)的訓(xùn)練難度。利用阿拉伯?dāng)?shù)字的拓?fù)浣Y(jié)構(gòu)。使用

8、2級分類器，提高了識別率：在初級網(wǎng)絡(luò)識別結(jié)果的基礎(chǔ)上，進(jìn)一步利用阿拉伯?dāng)?shù)字的拓?fù)浣Y(jié)構(gòu)，成像特征，構(gòu)建了第2級分類器。第二級BP網(wǎng)絡(luò)分類器的加入，大大提高的數(shù)字的識別率。 實(shí)現(xiàn)了用于郵件自動分揀機(jī)的郵政編碼識別裝置：綜合上述的研究工作，文中實(shí)現(xiàn)了一個郵政編碼識別裝置。該裝置能夠識完成郵編的定位、郵編抽取、識別等系列工作。配合郵件自動分揀機(jī)的其他物理動作單元，完成郵件的自動分揀工作。,本文所做的主要工作與創(chuàng)新之處,貴州大學(xué)計算機(jī)軟件與

9、理論研究所,7,技術(shù)概述技術(shù)詳解 應(yīng)用前景,內(nèi)容提要,貴州大學(xué)計算機(jī)軟件與理論研究所,8,人工神經(jīng)網(wǎng)絡(luò)及BP網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)領(lǐng)域研究的背景工作始于19世紀(jì)末和20世紀(jì)初。它源于物理學(xué)、心理學(xué)和神經(jīng)生物學(xué)的跨學(xué)科研究 。人工神經(jīng)網(wǎng)絡(luò)的第一個實(shí)際應(yīng)用出現(xiàn)在20世紀(jì)50年代后期，F(xiàn)rank Rosenblatt提出了感知機(jī)網(wǎng)絡(luò)和學(xué)習(xí)規(guī)則 。神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，在數(shù)學(xué)上的神經(jīng)元模型是和在生物學(xué)上的神經(jīng)細(xì)胞對應(yīng)的?；蛘哒f，人工神經(jīng)

10、網(wǎng)絡(luò)理論是用神經(jīng)元這種抽象的數(shù)學(xué)模型來描述客觀世界的生物細(xì)胞的。BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，或被稱為多層感知機(jī)。嚴(yán)格地說，這種神經(jīng)網(wǎng)絡(luò)之所以被稱為BP神經(jīng)網(wǎng)絡(luò)，并非由于其網(wǎng)絡(luò)結(jié)構(gòu)，而是由于其連接權(quán)值的訓(xùn)練是基于一種叫做誤差反向傳播的算法(backpropagation)。BP算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。,貴州大學(xué)計算機(jī)軟件與理論研究所,9,光學(xué)字

11、符識別,光學(xué)字符識別（Optical Character Recognition，OCR）技術(shù)出現(xiàn)于上個世紀(jì)50年代。它是屬于模式識別（Pattern Recognition，PR）領(lǐng)域的一個重要分支。50多年以來，光學(xué)字符識別技術(shù)隨著模式識別和人工智能研究的發(fā)展而逐步趨于成熟 。字符識別包含聯(lián)機(jī)識別和脫機(jī)識別兩種。本文研究對象為脫機(jī)識別。結(jié)構(gòu)模式識別方法是人們最初用來進(jìn)行手寫字符識別研究的方法，早期的研究主要集中在如何準(zhǔn)確地抽取基元

12、、輪廓、特征點(diǎn)等能夠反映字符結(jié)構(gòu)信息的特征上。然而，單純采用結(jié)構(gòu)模式識別方法的脫機(jī)手寫字符識別系統(tǒng)，識別率較低，這就促使人們將目光轉(zhuǎn)向了統(tǒng)計模式識別方法。統(tǒng)計法具有良好的抗噪聲、抗干擾的性能，其魯棒性主要體現(xiàn)在統(tǒng)計特征的抽取和模式匹配方法上。用于脫機(jī)手寫字符識別的統(tǒng)計特征，根據(jù)特征抽取區(qū)域的不同可粗略地分為全局統(tǒng)計特征和局部統(tǒng)計特征兩大類。,貴州大學(xué)計算機(jī)軟件與理論研究所,10,光學(xué)字符識別,全局統(tǒng)計特征是將整個字符點(diǎn)陣作為研究對象，

13、從整體上抽取特征。常用的是全局變換特征：對字符圖象進(jìn)行各種變換，利用變換系數(shù)作為特征，常用的變換有Fourier變換、Hadamard變換、DCT變換、Walsh變換、Rapid變換、K-L變換等。另外還有：不變矩（Moment）特征、筆畫穿透數(shù)目特征、全局筆畫方向特征、背景特征。局部統(tǒng)計特征是將字符點(diǎn)陣圖象分割成不同區(qū)域或網(wǎng)格，在各個小區(qū)域內(nèi)分別抽取統(tǒng)計特征，主要包括局部筆畫方向特征、細(xì)胞特征、相補(bǔ)特征、方向線素特征、Gabor特征

14、、四角特征。根據(jù)抽取特征的不同，可以選用不同的匹配方法，常用的統(tǒng)計匹配方法有模板匹配、相關(guān)匹配、樹分類器等。常用的距離度量有歐氏距離、城市塊距離、馬氏距離等。,貴州大學(xué)計算機(jī)軟件與理論研究所,11,準(zhǔn)備樣本,針對特定的應(yīng)用，準(zhǔn)備樣本集。并利用圖像處理技術(shù)，將樣本標(biāo)準(zhǔn)化。,,例：美國郵政服務(wù)（USPS）數(shù)據(jù)庫,貴州大學(xué)計算機(jī)軟件與理論研究所,12,對樣本做主分量分析（PCA）,計算樣本集的主分量（特征圖），準(zhǔn)備K-L變換矩陣,,例：美國

15、郵政服務(wù)（USPS）數(shù)據(jù)庫的特征圖,,貴州大學(xué)計算機(jī)軟件與理論研究所,13,抽取樣本的特征,利用前面計算的K-L變換矩陣，計算每個樣本圖的特征,,例：本文的數(shù)字識別研究中，利用K-L變換將16X16點(diǎn)陣的圖像變換為維度為32或20的特征向量。,,貴州大學(xué)計算機(jī)軟件與理論研究所,14,訓(xùn)練BP網(wǎng)絡(luò)分類器,利用樣本集對應(yīng)的特征向量集，在Matlab中設(shè)計、訓(xùn)練BP神經(jīng)網(wǎng)絡(luò),,例：本文的數(shù)字識別研究中，構(gòu)造了10個[20,20,16,8,1]

16、、輸出層使用purelin函數(shù)，其他層使用logsig函數(shù)的BP神經(jīng)網(wǎng)絡(luò)。,,貴州大學(xué)計算機(jī)軟件與理論研究所,15,圖像采集,利用攝像頭采集大小適中、亮度適中的信封圖像,,,貴州大學(xué)計算機(jī)軟件與理論研究所,16,郵政編碼的定位,利用郵政編碼邊框的顏色信息，分割出郵政編碼邊框圖像,,,貴州大學(xué)計算機(jī)軟件與理論研究所,17,郵政編碼的定位,輪廓提取，并使用Hough變換，檢測出郵政編碼的具體位置,,,貴州大學(xué)計算機(jī)軟件與理論研究所,18,郵

17、政編碼圖像的提取,提取出郵政編碼圖像，并根據(jù)圖像傾角，進(jìn)行姿勢校正,,,貴州大學(xué)計算機(jī)軟件與理論研究所,19,灰度化,將圖像灰度化,,,貴州大學(xué)計算機(jī)軟件與理論研究所,20,二值化,將圖像二值化,,,貴州大學(xué)計算機(jī)軟件與理論研究所,21,筆畫粗細(xì)調(diào)整,將圖像中的文字筆畫粗細(xì)做調(diào)整,,,貴州大學(xué)計算機(jī)軟件與理論研究所,22,圖像標(biāo)準(zhǔn)化并識別,將圖像標(biāo)準(zhǔn)化為16X16大小，并識別,,,貴州大學(xué)計算機(jī)軟件與理論研究所,23,貴州大學(xué)計算機(jī)軟件

18、與理論研究所,24,貴州大學(xué)計算機(jī)軟件與理論研究所,25,應(yīng)用前景,提高視頻部分的分辨率，使識別效果進(jìn)一步提高。使其能夠作為機(jī)器視覺系統(tǒng)應(yīng)用于生產(chǎn)線做為產(chǎn)品質(zhì)量監(jiān)控。生成汽車牌照號字符集，訓(xùn)練分類器，使其能夠應(yīng)用于汽車牌照號識別應(yīng)用中。,貴州大學(xué)計算機(jī)軟件與理論研究所,26,發(fā)表論文及參加學(xué)術(shù)會議,在讀研究生期間，已在國家中文核心期刊《計算機(jī)科學(xué)》發(fā)表一篇科研論文。參加學(xué)術(shù)會議2005年全國理論計算機(jī)科學(xué)學(xué)術(shù)年會，并在會上做學(xué)術(shù)報

19、告2005第四屆中國嵌入式系統(tǒng)技術(shù)應(yīng)用研討會,貴州大學(xué)計算機(jī)軟件與理論研究所,27,致謝,衷心感謝我的導(dǎo)師李祥教授！從論文的選題、可行性研究、文獻(xiàn)的收集到研究工作的開展，特別是論文的撰寫，導(dǎo)師都給予了無微不至的關(guān)懷，提出了許多寶貴的建設(shè)性意見。感謝答辯委員會主席，感謝各位評委，感謝在座的各位來賓！最后，我還要感謝我的家人及朋友對我的學(xué)習(xí)工作的全力支持。 謝 謝！