基于相對(duì)位置視點(diǎn)的數(shù)據(jù)集精簡(jiǎn)算法研究.pdf

1、隨著計(jì)算機(jī)在數(shù)據(jù)采集和數(shù)據(jù)存儲(chǔ)方面的技術(shù)迅猛發(fā)展，機(jī)器學(xué)習(xí)應(yīng)用經(jīng)常碰到越來越大的數(shù)據(jù)集。大部分機(jī)器學(xué)習(xí)算法的時(shí)間、空間復(fù)雜度也隨著數(shù)據(jù)集的規(guī)模變得越來越高。如何避免過度的空間、時(shí)間消耗，甚至通過移除噪聲數(shù)據(jù)提高數(shù)據(jù)集的泛化能力，給數(shù)據(jù)集精簡(jiǎn)的研究帶來了重大挑戰(zhàn)。
　　 論文在前人數(shù)據(jù)集精簡(jiǎn)算法相關(guān)研究的基礎(chǔ)上，對(duì)精簡(jiǎn)算法設(shè)計(jì)的關(guān)聯(lián)問題、算法分類比較等方面進(jìn)行了深入研究，完成了如下的一系列工作:
　　 1.詳盡地介紹了數(shù)據(jù)

2、集精簡(jiǎn)算法設(shè)計(jì)過程中需要解決的問題和面臨的選擇，對(duì)實(shí)例的表現(xiàn)形式、精簡(jiǎn)搜索方向、相似度度量函數(shù)、投票機(jī)制、性能評(píng)價(jià)指標(biāo)以及PCA、KD-Tree技術(shù)和威爾科克森檢驗(yàn)等問題、技術(shù)進(jìn)行了論述，為后續(xù)精簡(jiǎn)算法設(shè)計(jì)、討論，提供一個(gè)比較系統(tǒng)的理論框架。
　　 2.主要結(jié)合了精簡(jiǎn)算法設(shè)計(jì)的原型選擇和原型生成兩種基本思想的不同分類，比較、分析大部分的經(jīng)典精簡(jiǎn)算法并闡述各自優(yōu)缺點(diǎn)。
　　 3.提出了一種基于相對(duì)位置視點(diǎn)的數(shù)據(jù)集精簡(jiǎn)算法(

3、RePo)。從相對(duì)位置的視點(diǎn)入手，分析了數(shù)據(jù)點(diǎn)在局部區(qū)域的重要性，并由此給出了關(guān)于判斷數(shù)據(jù)點(diǎn)是否“可替代”的理論定義。通過保留重要的邊界節(jié)點(diǎn)、刪除噪音節(jié)點(diǎn)以及精簡(jiǎn)內(nèi)部節(jié)點(diǎn)，RePo算法融合原型選擇和原型生成兩種精簡(jiǎn)思想，最后引入噪音過濾器更加謹(jǐn)慎地刪除噪聲與部分邊界節(jié)點(diǎn)，從而平滑化、清晰化類邊界。
　　 4.在16組UCI數(shù)據(jù)集上將新提出的RePo算法與其它17種不同設(shè)計(jì)思路、不同策略的精簡(jiǎn)算法進(jìn)行對(duì)比實(shí)驗(yàn)。論文對(duì)實(shí)驗(yàn)中得到的指

4、標(biāo)結(jié)果進(jìn)行了分析、比較，并對(duì)算法間的差異做了威爾科克森符號(hào)秩假設(shè)檢驗(yàn)（置信水平為0.1），實(shí)驗(yàn)表明:RePo算法對(duì)數(shù)據(jù)集壓縮幅度較大，結(jié)合考慮壓縮幅度和泛化精度的綜合性能方面，其整體性能與SSMA和RMHC算法接近，但RePo算法平均泛化精度比前兩種算法高出9.5％和1.3％。
　　 綜上，RePo算法通過采用原型概念和剪輯式、壓縮式的混合處理方式，從而結(jié)合了原型生成和原型選擇的基本思想，保留重要邊界點(diǎn)，剔除噪聲數(shù)據(jù)，同時(shí)通過生