均衡RLT交叉驗(yàn)證方法.pdf

1、在統(tǒng)計機(jī)器學(xué)習(xí)中，RepeatedLearningTest(RLT)交叉驗(yàn)證是交叉驗(yàn)證方法中最常用的方法之一.RLT是對一個給定數(shù)據(jù)集的多次切分，進(jìn)行多次重復(fù)的訓(xùn)練、測試，并按多次的平均來估計模型的泛化誤差.即，從給定數(shù)據(jù)集中隨機(jī)取出一部分作為訓(xùn)練集，剩下的部分作為測試集，在訓(xùn)練集上訓(xùn)練模型，在測試集上估計泛化誤差（每個估計，稱為泛化誤差held-out估計），然后重復(fù)這個過程，最后以多次測試結(jié)果的泛化誤差的估計的平均作為泛化誤差的估計

2、（稱為泛化誤差的RLT估計）.
　　然而泛化誤差的RLT估計的方差與數(shù)據(jù)集的切分方式有著密切的關(guān)系.本文通過模擬實(shí)驗(yàn)和真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)表明，任意兩次held-out之間的協(xié)方差與訓(xùn)練集的重疊樣本個數(shù)有關(guān)，重疊樣本個數(shù)越多，則協(xié)方差越大.傳統(tǒng)的RLT交叉驗(yàn)證方法是對數(shù)據(jù)集的多次隨機(jī)切分，任意兩次切分之間的重疊樣本個數(shù)是一個服從超幾何分布的隨機(jī)變量，這個隨機(jī)變量增大了RLT估計的方差.
　　為此，本文給出了一種BalancedR

3、epeatedLearningTest的數(shù)據(jù)集切分的交叉驗(yàn)證方法，稱為均衡RLT交叉驗(yàn)證方法，簡記為BRLT.也即，使得每個樣本在訓(xùn)練集中出現(xiàn)的次數(shù)相同，并且任意兩個切分之間的訓(xùn)練重疊樣本個數(shù)也相同.首先，本文從理論上證明了，若任意兩次held-out估計的協(xié)方差是訓(xùn)練集重疊樣本個數(shù)的下凸且單調(diào)遞增函數(shù)，則BRLT交叉驗(yàn)證下的泛化誤差的RLT估計（簡稱為BRLT估計）的方差達(dá)到最小.其次，基于兩水平正交表，給出了若干情形下的BRLT交叉

4、驗(yàn)證方法的構(gòu)造方法以及相應(yīng)的構(gòu)造算法.
　　本文通過大量的模擬實(shí)驗(yàn)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)，驗(yàn)證了任意兩次held-out之間的協(xié)方差是訓(xùn)練集重疊樣本個數(shù)的下凸且單調(diào)遞增函數(shù).本文在多個回歸模型、分類模型下，對BRLT估計的方差與隨機(jī)切分的RLT估計的方差的進(jìn)行比較，可以看出BRLT估計明顯地降低了泛化誤差估計的方差.特別地，在對半切分?jǐn)?shù)據(jù)情形下，文獻(xiàn)中均衡的m×2交叉驗(yàn)證方法也是常用的方法，本文對均衡的m×2交叉驗(yàn)證估計的方差與BRLT