Boosting算法的改進及其在視覺目標檢測中的應用研究.pdf

1、Boosting是一類提高弱學習算法精度的強學習算法,具有堅實的理論基礎(chǔ),憑借其高效、易用和良好的泛化性能被廣泛應用于模式識別的各個領(lǐng)域,尤其在Viola和Jones提出“Haar矩形特征+AdaBoost+級聯(lián)檢測器”后,“底層特征+boosting”視覺目標檢測框架成為迄今解決視覺目標檢測的一條最有效的途徑。
　　 本文研究boosting算法的改進及其在視覺目標檢測中的應用,綜述boosting算法的研究現(xiàn)狀,提出三種解決

2、不平衡數(shù)據(jù)分類問題的boosting改進算法,并對“底層特征斗+boosting”視覺目標檢測框架進行改進和應用推廣。
　　 不平衡數(shù)據(jù)分類問題強調(diào)少數(shù)類的分類精度,而boosting算法最小化數(shù)據(jù)的整體分類錯誤率上界,對少數(shù)類的分類效果較差?，F(xiàn)有改進方案被本文歸納為數(shù)據(jù)采樣法和代價敏感法兩類:數(shù)據(jù)采樣法每輪迭代使用過采樣/欠采樣降低類別不平衡程度,但算法計算量大,采樣過程容易引入噪聲或丟失有用數(shù)據(jù)信息;代價敏感法對少數(shù)類賦予較

3、高的誤分代價,使得分類器向其傾斜,但算法大多為啟發(fā)式,并存在代價因子較大時算法性能顯著下降的問題,缺少一個理論框架來解釋其有效性。本文從代價敏感學習、采樣、AUC優(yōu)化三個角度研究針對不平衡數(shù)據(jù)分類問題的boosting改進算法,分別完成了:(1)提出代價敏感boosting的理論框架,揭示并解釋現(xiàn)有算法存在的不穩(wěn)定問題,并給出穩(wěn)定的新算法。本文從統(tǒng)計學角度指出代價敏感boosting實質(zhì)是通過優(yōu)化某種代價敏感準則擬合非對稱logisti

4、c回歸模型,現(xiàn)有算法采用隨迭代次數(shù)指數(shù)增長的代價因子,導致代價因子較大時算法性能顯著下降。本文提出采用一致代價因子的代價敏感boosting算法CSBoost.DA和CSBoost.GA,在UCI不平衡數(shù)據(jù)集、人臉數(shù)據(jù)集、車牌數(shù)據(jù)集上的實驗表明,對于不平衡數(shù)據(jù)分類問題,新算法優(yōu)于原始boosting和現(xiàn)有代價敏感boosting:(2)分類邊界附近的樣本對分類器性能起著關(guān)鍵作用,受這一思想的啟發(fā),提出基于邊界少數(shù)類樣本過采樣的邊界采樣b

5、oosting算法。與數(shù)據(jù)采樣法不同,采樣結(jié)果通過樣本權(quán)重反映,并不產(chǎn)生或刪除數(shù)據(jù),從而避免噪聲引入和有用信息丟失。新算法融合數(shù)據(jù)采樣法和代價敏感法的優(yōu)點,高效、適應性強,在UCI不平衡數(shù)據(jù)集上的實驗表明,新算法優(yōu)于原始boosting和代價敏感boosting;(3)AUC是不平衡數(shù)據(jù)分類問題中的一個常用評估指標,提出一種最優(yōu)化AUC的boosting算法,從全新的角度研究基于boosting的不平衡數(shù)據(jù)分類問題。通過分析AUC與分類

6、錯誤率的關(guān)系,指出平衡類別分布是將最大化AUC與最小化分類錯誤率等價的關(guān)鍵,基于此思想提出RcbalanccdBoost。新算法每輪迭代前先平衡類別分布,可證明其學習目標為最大化AUC下界。在UCI不平衡數(shù)據(jù)集上的實驗表明,在AUC測度下新算法優(yōu)于原始boosting算法。
　　 “底層特征+boosting”框架已成為視覺目標檢測領(lǐng)域的一個標準方法,一直以來,研究者們從特征提取和學習算法兩方面進行改進。本文指出框架仍存在一個根

7、本性的問題——特征失配,亟待解決。由于特征大多從圖像的固定位置提取,受到目標姿態(tài)多樣性、局部變形等因素的影響,不同目標實例中同一特征所在位置可能不同,從而影響最終檢測器的性能。針對特征失配問題,本文提出基于多配置特征包的boosting算法。用多配置特征包模擬不同的特征失配情況,由boosting算法選擇出最優(yōu)特征包和相應配置,構(gòu)成目標分類器。弱分類器學習時,引入多示例學習的思想,將特征包分類器學習轉(zhuǎn)化為單個特征分類器的學習。在人臉數(shù)據(jù)

8、集上的實驗表明,基于多配置特征包的boosting算法能獲得更快的收斂速度和更好的檢測性能。此外,本文將“底層特征+boosting”視覺目標檢測框架應用于解決具體的計算機視覺問題,主要包括:(1)圖像CAPTCHA破解。圖像CAPTCHA ARTiFACIAL基于人臉和面部特征識別,由于引入背景噪聲、光照不均和人臉形變,現(xiàn)有算法破解率不超過0.0006％。
　　 本文根據(jù)ARTiFACIAL產(chǎn)生機制,設(shè)計基于梯度的人臉檢測器,