具有降維容噪特性的決策樹(shù)算法改進(jìn).pdf

1、隨著信息技術(shù)的迅速發(fā)展，高維數(shù)據(jù)在社會(huì)科學(xué)和自然科學(xué)研究領(lǐng)域廣泛出現(xiàn)，一方面帶來(lái)了更多可用信息，另一方面給數(shù)據(jù)的處理分析帶來(lái)了巨大挑戰(zhàn)。尤其是隨著數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用，數(shù)據(jù)挖掘分類結(jié)果對(duì)噪聲敏感已成為一個(gè)不容忽視的問(wèn)題，這就要求進(jìn)一步優(yōu)化現(xiàn)有分類技術(shù)。為了提升分類算法對(duì)高噪聲環(huán)境中的高維數(shù)據(jù)的預(yù)測(cè)能力，本文以C4.5決策樹(shù)分類算法為優(yōu)化對(duì)象并進(jìn)行深入研究，運(yùn)用容噪主成分分析（Noise-free Principal Component

2、 Analysis, NFPCA）的算法思想對(duì)傳統(tǒng)C4.5算法改進(jìn)，提出了NFPCA-in-C4.5算法，來(lái)解決高維數(shù)據(jù)的高噪聲問(wèn)題帶來(lái)的決策樹(shù)預(yù)測(cè)準(zhǔn)確率下降問(wèn)題。本研究主要內(nèi)容包括：
　?、艔腜CA算法機(jī)制上分析了含噪聲的高維數(shù)據(jù)經(jīng)過(guò)PCA算法降維處理后，所得主成分空間仍受噪聲污染的原因；然后綜合考慮了高維高噪聲數(shù)據(jù)的高維度和高噪聲因素對(duì)決策樹(shù)分類模型預(yù)測(cè)效果影響，運(yùn)用NFPCA算法思想將高維數(shù)據(jù)的噪聲控制問(wèn)題轉(zhuǎn)化為擬合數(shù)據(jù)特征

3、與控制平滑度相結(jié)合的最優(yōu)化問(wèn)題，此最優(yōu)化問(wèn)題符合正則化最小二乘問(wèn)題定義，經(jīng)求解可獲得相對(duì)無(wú)噪聲的主成分空間，這樣不僅降低了維度，更減弱了噪聲的影響。
　?、圃跇?gòu)造決策樹(shù)模型過(guò)程中，充分利用了決策樹(shù)自頂向下遞歸構(gòu)建新節(jié)點(diǎn)的特性。首先，當(dāng)構(gòu)建父節(jié)點(diǎn)時(shí)，將原始數(shù)據(jù)空間通過(guò)NFPCA算法轉(zhuǎn)換到主成分空間；然后將主成分空間數(shù)據(jù)集基于信息熵的屬性選擇方式進(jìn)行劃分；最后，構(gòu)建子節(jié)點(diǎn)時(shí)，將劃分后的各數(shù)據(jù)子集恢復(fù)到原始數(shù)據(jù)空間。通過(guò)此種原始數(shù)據(jù)空間

4、和主成分空間在父節(jié)點(diǎn)和子節(jié)點(diǎn)之間的映射轉(zhuǎn)換與再恢復(fù)，避免了降維過(guò)程中信息損失，降低了信息損失對(duì)C4.5算法預(yù)測(cè)準(zhǔn)確率的影響。
　　⑶通過(guò)實(shí)驗(yàn)對(duì)比了C4.5和NFPCA-in-C4.5算法的準(zhǔn)確率變化和預(yù)測(cè)模型規(guī)模變化，來(lái)體現(xiàn)NFPCA-in-C4.5算法的性能優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明本文提出的NFPCA-in-C4.5算法針對(duì)高維高噪數(shù)據(jù)的特點(diǎn)，充分利用決策樹(shù)中父、子節(jié)點(diǎn)數(shù)據(jù)集之間關(guān)系的特性，將NFPCA降噪處理融合進(jìn)入C4.5算法的構(gòu)