Boosting算法及其應(yīng)用.pdf

1、近十年間，學(xué)習(xí)領(lǐng)域中出現(xiàn)了一種可以通過多次學(xué)習(xí)而提升學(xué)習(xí)算法精度的方法，它采用綜合選優(yōu)的原則而使算法的效率明顯改善，此方法被稱為Boosting方法。它可以有效地將精度較低的“弱學(xué)習(xí)算法”提升為精度較高的“強學(xué)習(xí)算法”。Boosting作為一種新的集成機器學(xué)習(xí)方法，以學(xué)習(xí)理論為依據(jù)，在很多應(yīng)用領(lǐng)域中都表現(xiàn)出了其優(yōu)良特性。 本文對Boosting算法的基本思想，一些經(jīng)典變形算法 (如 AdaBoost．M1，實值 AdaBoost

2、) 進行了闡述。然后從訓(xùn)練誤差、泛化誤差、優(yōu)化理論、偏倚和方差，博弈論等幾個方面對Boosting算法的一般理論基礎(chǔ)進行了分析，并進一步分析了算法的一致性，得到了AdaBoost算法滿足全局一致性的停時策略。較為詳細的對Boosting方法進行了闡述和總結(jié)。 本文將 Boosting 方法應(yīng)用到了銀行個人信用評估領(lǐng)域。隨著我國市場經(jīng)濟的不斷發(fā)展，信用評估成為商業(yè)銀行業(yè)務(wù)發(fā)展的當務(wù)之急。信用評估的準確率哪怕只提高零點幾個百分點，都