基于svm的手寫數(shù)字識別的應用與實現(xiàn)【文獻綜述】

1、<p><b>　　畢業(yè)論文文獻綜述</b></p><p><b>　　計算機科學與技術</b></p><p>　　基于SVM的手寫數(shù)字識別的應用與實現(xiàn)</p><p><b>　　引言：</b></p><p>　　支持向量機(Support Vector Ma

2、chine，SVM)是由Vapnik于1995年提出的針對分類和回歸問題的統(tǒng)計學習理論，是在高維特征空間使用線性函數(shù)假設空間的學習系統(tǒng)。近年來，其理論研究和算法實現(xiàn)方面都取得了突破性進展，開始成為克服維數(shù)災難和過學習等傳統(tǒng)困難的有力手段。SVM方法具有許多引人注目的優(yōu)點和極有前途的實驗性能,受到了越來越廣泛的重視。繼神經(jīng)網(wǎng)絡之后，該技術已經(jīng)成為機器學習研究領域中的新熱點，并取得了非常理想的效果，在人臉識別、手寫體數(shù)字識別和網(wǎng)頁分類等領域

3、受到廣泛應用。</p><p>　　手寫體數(shù)字識別是手寫字符識別的一個重要分支，又可分為在線手寫體識別和離線手寫體識別。前者識別系統(tǒng)通過記錄文字圖像抬筆、落筆、字跡上各像素的空間位置，以及各筆段之間的時間關系等信息，對手寫體字符進行識別；而后者因為是離線識別，無法獲取寫字者抬筆、落筆等筆劃信息，因此難度更大，但具有廣泛的應用空間，如銀行票據(jù)、工商報表、財務報表等，再如郵件自動分類等都需要對手寫體數(shù)字進行識別。隨著

4、信息化及人工智能的發(fā)展，手寫數(shù)字識別的應用市場已經(jīng)越來越廣泛了。</p><p><b>　　1 研究動態(tài)</b></p><p>　　手寫數(shù)字識別在經(jīng)過過去幾十年的研究發(fā)展，取得了很大的成功，識別率在90％以上，但是作為數(shù)字識別它需要非常高的識別精度以及效率，因為數(shù)字識別的錯誤所帶來的影響非比尋常，比文字識別等其他字符識別所帶來的影響更大，尤其在金融、財會領域數(shù)字識

5、別的錯誤所帶來的后果更是不可低估。手寫體數(shù)字識別一直是是多年來的研究熱點，具有很廣泛的應用范圍及很高的商業(yè)價值。目前，市場上也出現(xiàn)了許多手寫體數(shù)字識別系統(tǒng)的產(chǎn)品，在許多實際應用系統(tǒng)(如郵政編碼自動識別系統(tǒng)、銀行支票自動處理系統(tǒng)等)中都有廣泛的應用。顯然，高精度，高效率的手寫體數(shù)字識別器能夠提高實際應用系統(tǒng)的整體性能，然而現(xiàn)在還沒有哪個手寫體數(shù)字識別系統(tǒng)能夠達到完美的識別效果。因此，進一步提高手寫數(shù)字識別系統(tǒng)的識別精度和速率是每一位手寫數(shù)

6、字識別系統(tǒng)研究者的奮斗目標。</p><p>　　1929年德國科學家Taushek利用光學模板匹配識別，開創(chuàng)了用機器識別文字符的先河。歐美國家為了將繁瑣復雜的材料輸入計算機，讓其進行信息處理，從50年代就開始了西文光學字符識別(Optieal Character Recognition，OCR)的研究，OCR的意思就演變?yōu)榱死霉鈱W技術對文字和字符進行掃描的識別，轉(zhuǎn)化為計算機內(nèi)碼。1960～70年代，世界各國相

7、繼開始了OCR的研究，OCR可以說是一種不確定的技術研究，因為牽扯到書寫者的書寫習慣，識別的方法，訓練測試的樣本等因素，都會影響到識別的正確率。其正確率就像一個趨勢函數(shù)，只能趨近，而不能達到100%，大家都以100%作為研究目標。</p><p>　　世界上第一個將該技術付諸實用的是日本東芝公司研發(fā)的手寫體郵政編碼識別的信函自動分揀系統(tǒng)，之后，隨著時間的推移，各種各樣的產(chǎn)品、系統(tǒng)相繼問世。中國對于OCR方面的研究

8、起步相對較晚，直到1989年，清華大學率先推出了國內(nèi)第一套中文OCR軟件——清華文通TH一OCR，至此中國的OCR技術正式起步。</p><p>　　隨著研究的進展，文字和數(shù)字識別市場穩(wěn)步擴大，用戶遍布世界各地。近幾年來，中國國內(nèi)對于手寫數(shù)字識別的研究還是相當成功的，取得了很大的成績。手寫數(shù)字識別技術可以用于郵政編碼、統(tǒng)計報表、財務報表、銀行票據(jù)等信息處理，一旦研究成功并投入應用，將產(chǎn)生巨大的社會和經(jīng)濟效益。&l

9、t;/p><p>　　總而言之，手寫體數(shù)字識別技術的研究是一項復雜的系統(tǒng)工程，雖然已經(jīng)經(jīng)過了20多年的研究和發(fā)展，但是在識別精度和速率上仍然很難符合實際應用的要求，仍然需要相關的研究工作者一起努力研發(fā)，可謂任重道遠。隨著人工智能、心理學和計算機科學等學科的融合交叉發(fā)展，以及應用市場需求的推動，手寫數(shù)字識別技術將會取得更進一步的發(fā)展。</p><p>　　2 SVM（支持向量機）簡介</p

10、><p>　　2.1 SVM（支持向量機）的特點</p><p>　　支持向量機方法是建立在統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險最小原理基礎上的，根據(jù)有限的樣本信息在模型的復雜性和學習能力即對特定訓練樣本的學習精度和無錯誤地識別任意樣本的能力之間尋找最佳的折衷，來獲得最佳推廣能力。它的主要優(yōu)點有：</p><p>　?。?）非線性映射是SVM方法的理論基礎,SVM將輸入空

11、間中的非線性問題通過引用核函數(shù)映射到高維特征空間，然后在高維空間中構(gòu)造線性函數(shù)以作判別。</p><p>　?。?）對特征空間劃分的最優(yōu)超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心，SVM算法可最終轉(zhuǎn)化為凸優(yōu)化問題,因而可保證算法的全局最優(yōu)性,避免了神經(jīng)網(wǎng)絡無法解決的局部極值問題。</p><p>　?。?）支持向量機是基于結(jié)構(gòu)風險最小化的原則,保證了學習機器具有良好的泛化

12、能力。</p><p>　?。?）SVM 是一種有堅實理論基礎的新穎的小樣本學習方法。它能夠自動識別出訓練集中的一個子集，此子集基本上可以代表訓練集中的全部信息，也就是說只有這個子集對分類及回歸問題的求解起作用。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓練樣本到預報樣本的“轉(zhuǎn)導推理”,大大簡化了通常的分類和回歸等問題。</p><p>　?。?）SVM 的最終決策函數(shù)只由

13、少數(shù)的支持向量所確定,計算的復雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù), 它將實際問題通過非線性變換轉(zhuǎn)換到高維的特征空間，在高維空間中構(gòu)造線性判別函數(shù)來實現(xiàn)原空間中的非線性判別函數(shù)，特殊性質(zhì)能保證機器有較好的推廣能力，這在某種意義上避免了“維數(shù)災難”。</p><p>　　（6）少數(shù)的支持向量決定了最終結(jié)果,這幫助我們抓住了關鍵樣本并“剔除”了大量冗余樣本；而且，使用該方法不但算法比較簡單,而且還具有較強的

14、“魯棒”性，主要體現(xiàn)為:</p><p>　?、僭黾印h減非支持向量的樣本不會對模型造成影響；</p><p>　?、谥С窒蛄繕颖炯簿哂休^好的“魯棒性”；</p><p>　　③在一些應用中,SVM 方法對核的選擇范圍比較廣泛。</p><p>　　2.2 SVM（支持向量機）原理</p><p>　　SVM以統(tǒng)計學

15、習理論為基礎，它具有很強的學習能力以及泛化性能。SVM學習結(jié)果是支持向量的集合，一般是學習樣本集中的一小部分，支持向量集可以充分的體現(xiàn)整個樣本集的屬性。</p><p>　　SVM學習用優(yōu)化方法得到的結(jié)果是全局最優(yōu)解，不會產(chǎn)生傳統(tǒng)方法中的過學習和局部最小等問題。SVM學習結(jié)果為支持向量集，通常是學習樣本集的一小部分，支持向量集充分體現(xiàn)了整個樣本集的屬性。</p><p>　　SVM方法是通

16、過一個非線性映射,把樣本空間映射到一個高維乃至無窮維的特征空間中(H ilbert空間),使得在原來的樣本空間中非線性可分的問題轉(zhuǎn)化為在特征空間中的線性可分的問題.簡單地說,就是升維和線性化.升維,就是把樣本向高維空間做映射,一般情況下這會增加計算的復雜性,甚至會引起維數(shù)災難,因而人們很少問津。但是作為分類、回歸等問題來說,很可能在低維樣本空間無法線性處理的樣本集,在高維特征空間中卻可以通過一個線性超平面實現(xiàn)線性劃分(或回歸).一般的升

17、維都會帶來計算的復雜化,SVM方法巧妙地解決了這個難題:應用核函數(shù)的展開定理,就不需要知道非線性映射的顯式表達式;由于是在高維特征空間中建立線性學習機,所以與線性模型相比,不但幾乎不增加計算的復雜性,而且在某種程度上避免了維數(shù)災難.這一切要歸功于核函數(shù)的展開和計算理論.</p><p>　　選擇不同的核函數(shù),可以生成不同的SVM,常用的核函數(shù)有以下幾種:</p><p><b>

18、　　線性核函數(shù)：</b></p><p><b>　　多項式核函數(shù)：</b></p><p>　　徑向基（RBF）核函數(shù)： </p><p>　　3 基于SVM（支持向量機）手寫數(shù)字識別的特征提取問題</p><p>　　對于手寫數(shù)字圖像，雖然沒有人臉圖像那樣有更多的維數(shù)，但是像64×64維、32&

19、#215;32維對于手寫數(shù)字識別系統(tǒng)來說已經(jīng)算多了，如果直接拿去進行訓練識別將會大大影響系統(tǒng)的識別速度、效率等，因此進行特征提取還是有必要的。</p><p>　　基于核的主成分分析方法是傳統(tǒng)主成分分析(PCA)方法的推廣。對于樣本集{,…}，主成分方向是矩陣的特征向量。對x進行非線性變換，可得到，其特征向量v就是原樣本集的非線性主成分方向，滿足。將每個樣本與該式內(nèi)積，得：</p><p>

20、;　　可以證明，特征向量v可以寫成，定義矩陣：</p><p>　　為矩陣的第i行第j列個元素，可以得到：</p><p>　　其中，從矩陣K的特征向量即可求出的特征向量v，即空間的主成分方向，可獲得所要求的特征值和特征向量。對于原空間中的任意向量x，它在變換空間中的主成分是在主成分方向v上的投影，即：</p><p>　　顯然，這里得到的非線性主成分方法只需在原空

21、間中計算用作內(nèi)積的核函數(shù)。</p><p>　　基于核的主成分分析方法進行特征提取中要采用核函數(shù)，實驗中可采用各種核函數(shù)進行實驗比較它們的效果。</p><p><b>　　4 總結(jié)</b></p><p>　　相比BP神經(jīng)網(wǎng)絡,SVM具有算法簡單、無需先驗知識、易于控制、易于訓練、穩(wěn)定性好等優(yōu)點.雖然SVM可以很好地解決小樣本情況下的識別問題

22、,但是如果能夠收集更多的訓練樣本仍然對提高識別率是有益的.一個好的手寫數(shù)字識別系統(tǒng)不但要有良好的識別性能，而且要有良好的識別速度和識別效率，只有這樣才能在實際系統(tǒng)中得到廣泛的應用。基于支持向量機的手寫數(shù)字識別系統(tǒng)要想在實際中得到應用就必須解決這兩方面的問題。支持向量機有很強的學習能力和較好的泛化性能，因此系統(tǒng)在識別性能上是比較好的，但是在識別速度、識別效率上就有待提高。手寫數(shù)字識別是一個大樣本識別，因此也會有支持向量多的缺點。</

23、p><p>　　基于支持向量機的手寫數(shù)字識別系統(tǒng)有較好的識別性能，只要解決識別速度、識別效率問題將會使系統(tǒng)得到更廣泛的應用</p><p><b>　　參考文獻</b></p><p>　　[1]蒙庚祥,方景龍.基于支持向量機的手寫體數(shù)字識別系統(tǒng)設計.計算機工程與設計,2005(26).6 </p><p>　　[2]劉宏兵

24、,熊盛武.用于手寫數(shù)字識別的改進模糊支持向量機.小型微型計算機系統(tǒng),2008(29).05 </p><p>　　[3]柳回春,馬樹元,吳平東,李曉梅.手寫體數(shù)字識別技術的研究.計算機工程,2003(29).4 </p><p>　　[4]張學工.關于統(tǒng)計學習理論與支持向量機.自動化學報,2000(26).01 </p><p>　　[5]吳今培.基于核函數(shù)的主成分

25、分析及應用.系統(tǒng)工程,2005(23).02 </p><p>　　[6]汪同慶,居琰,任莉.基于神經(jīng)網(wǎng)絡及多層次信息整合的手寫數(shù)字識別.小型微型計算機系統(tǒng),2003(24).12 </p><p>　　[7]卜富清，王茂芝,于慶剛. 基于BP神經(jīng)網(wǎng)絡的數(shù)字識別.長江大學學報（自然科學版）2009（6）.6 </p><p>　　[8]張曉龍，任芳.支持向量機與Ad