交叉樣例選擇研究.pdf

1、海量數(shù)據(jù)是數(shù)字時代明顯的特征，數(shù)據(jù)大規(guī)模增長使得數(shù)據(jù)處理變得異常困難，樣例選擇是處理海量數(shù)據(jù)的主要方法之一。樣例選擇的目的是去除原始數(shù)據(jù)集中的冗余樣例和噪音樣例，從而得到一個能夠代表原數(shù)據(jù)集的小規(guī)模子集。傳統(tǒng)的樣例選擇算法大多是針對某一種分類器而設(shè)計的，因此其結(jié)果往往也只適用于這種類型的分類器。此外，隨著數(shù)據(jù)集規(guī)模的增長，經(jīng)典的樣例選擇算法難于處理大規(guī)模數(shù)據(jù)集，高效率的樣例選擇算法，特別是針對大數(shù)據(jù)集的樣例選擇算法成為近幾年的研究熱點。

2、
　　本文針對較大數(shù)據(jù)集分類問題，提出了能夠用于不同分類器的樣例選擇算法，該算法基于分治和交叉驗證的思想進行樣例選擇。具體地，首先將數(shù)據(jù)集分為若干不相交的子集，對于每一個數(shù)據(jù)集，用其他子集訓(xùn)練出的分類器組成委員會，對該子集進行樣例選擇。針對輸出為后驗概率的分類器使用K‐L散度度量樣例的重要性，針對其他分類器使用投票熵度量樣例的重要性。當(dāng)使用速度快的ELM分類器時，本文提出的算法能夠快速處理較大規(guī)模的數(shù)據(jù)集。為了驗證本文算法的有效性