基于SVM技術(shù)的手寫數(shù)字識(shí)別的研究.pdf

1、支持向量機(jī)(SupportVectorMachine，SVM)是由Vapnik于1995年提出的針對(duì)分類和回歸問題的統(tǒng)計(jì)學(xué)習(xí)理論，是在高維特征空間使用線性函數(shù)假設(shè)空間的學(xué)習(xí)系統(tǒng)。近年來(lái)，其理論研究和算法實(shí)現(xiàn)方面都取得了突破性進(jìn)展，開始成為克服維數(shù)災(zāi)難和過學(xué)習(xí)等傳統(tǒng)困難的有力手段。由于SVM方法具有許多引人注目的優(yōu)點(diǎn)和有前途的實(shí)驗(yàn)性能，越來(lái)越受重視。該技術(shù)已成為機(jī)器學(xué)習(xí)研究領(lǐng)域中的熱點(diǎn)，并取得很理想的效果，如人臉識(shí)別、手寫體數(shù)字識(shí)別和網(wǎng)頁(yè)

2、分類等。 手寫數(shù)字識(shí)別在很多領(lǐng)域具有廣泛的應(yīng)用前景，國(guó)內(nèi)外學(xué)者對(duì)此做了大量的研究工作，提出了很多預(yù)處理和模式識(shí)別的算法，大大提高了手寫數(shù)字的識(shí)別精度。但到目前為止，手寫數(shù)字識(shí)別的識(shí)別精度還有待提高，核函數(shù)核參數(shù)選擇等問題尚有待解決。為了提高手寫數(shù)字識(shí)別的精度，本文將支持向量機(jī)應(yīng)用于手寫數(shù)字識(shí)別，開發(fā)了SVM-HDR軟件系統(tǒng)。在系統(tǒng)總結(jié)前人工作的基礎(chǔ)上，重點(diǎn)研究影響SVM分類法性能的各種因子。把這一選擇最佳因子的方法流程化，驗(yàn)證了

3、支持向量機(jī)在手寫數(shù)字識(shí)別中的有效性。此外，本文在手寫數(shù)字的識(shí)別過程中提出了引入先驗(yàn)知識(shí)的虛擬樣本法，期望該方法能對(duì)提高基于支持向量機(jī)的手寫數(shù)字識(shí)別的精度起到推動(dòng)作用。本文主要工作體現(xiàn)在以下方面： (1)對(duì)多類分類方法進(jìn)行分析比較。 著重對(duì)一類對(duì)余類法(one-against-all)，成對(duì)分類法(one-against-one)和有向無(wú)環(huán)圖法(DirectedAcyclicGraph，DAG)三種分類方法進(jìn)行了比較分析。

4、針對(duì)具體數(shù)據(jù)庫(kù)，在識(shí)別精確度、訓(xùn)練時(shí)間和測(cè)試時(shí)間方面進(jìn)行了實(shí)驗(yàn)，為手寫數(shù)字識(shí)別選擇適用的多類分類方法。根據(jù)實(shí)驗(yàn)結(jié)果，本文選擇使用成對(duì)分類方法。 (2)對(duì)訓(xùn)練算法進(jìn)行比較分析。 對(duì)三種主流訓(xùn)練算法：Chunking算法，Osuna算法和SMO算法，在速度、精度和內(nèi)存節(jié)省等方面進(jìn)行對(duì)比。相比之下，SMO算法速度較快，精度較高，比較節(jié)省內(nèi)存，且適合大規(guī)模問題的求解。因此，本文選擇該算法作為手寫數(shù)字識(shí)別的訓(xùn)練算法。 (3

5、)驗(yàn)證支持向量機(jī)用于手寫數(shù)字識(shí)別的有效性。 鑒于支持向量機(jī)的優(yōu)點(diǎn)，將其應(yīng)用于手寫數(shù)字識(shí)別來(lái)提高識(shí)別精度。將各方面選出的最優(yōu)因子用于SVM-HDR軟件系統(tǒng)中，使該過程流程化。對(duì)具體的手寫數(shù)字庫(kù)MNIST進(jìn)行數(shù)據(jù)預(yù)處理，歸一化，最佳核函數(shù)與核參數(shù)的選擇，訓(xùn)練和測(cè)試等操作。將程序結(jié)果與使用其他技術(shù)對(duì)同一數(shù)據(jù)庫(kù)的識(shí)別結(jié)果進(jìn)行比較，驗(yàn)證了SVM識(shí)別方法的有效性。 (4)提出引入先驗(yàn)知識(shí)的虛擬樣本法。 支持向量是訓(xùn)練集的一個(gè)

6、子集，基本上可以代表訓(xùn)練集中的全部信息，也就是說(shuō)只有這個(gè)子集對(duì)分類問題的求解起作用。因此，在一個(gè)SVM訓(xùn)練得到的支持向量集合上訓(xùn)練另一個(gè)SVM，其測(cè)試性能并不亞于在整個(gè)訓(xùn)練集上訓(xùn)練得到的結(jié)果。 利用對(duì)輸入圖像的某些變換不會(huì)改變識(shí)別結(jié)果的理論，本文在驗(yàn)證支持向量機(jī)在手寫數(shù)字識(shí)別中有效性的程序基礎(chǔ)上，提取出訓(xùn)練集的支持向量，在該集合上進(jìn)行平移不變性變換，人工生成了虛擬支持向量，加上沒有變換的支持向量，得到數(shù)量為原支持向量五倍的虛擬樣