非平衡數(shù)據(jù)集分類算法及其應(yīng)用.pdf

1、非平衡數(shù)據(jù)集是指同一個數(shù)據(jù)集中某些類的樣本數(shù)遠遠少于其他類的樣本數(shù)，它廣泛存在于現(xiàn)實生活中.利用傳統(tǒng)的機器學(xué)習(xí)方法分類，對于數(shù)目少的類來說分類準(zhǔn)確率很低，而對于數(shù)目多的類則相對較高.但在非平衡數(shù)據(jù)集中，數(shù)目少的類往往是關(guān)注的對象，因此傳統(tǒng)算法對于解決非平衡數(shù)據(jù)集分類問題的能力有限.近年來，非平衡數(shù)據(jù)集的分類問題得到了國內(nèi)外專家的廣泛關(guān)注，取得了一些成果，并在相關(guān)領(lǐng)域得到應(yīng)用.
　　本文在KAIG模型的框架下，基于信息粒的觀點，對非

2、平衡數(shù)據(jù)集分類問題和知識獲取做了進一步的研究，并將其應(yīng)用于電信客戶流失預(yù)測領(lǐng)域中.本文主要取得了以下研究成果:
　　(1)對KAIG算法進行了部分改進，引入了Purity參數(shù)來度量粒重疊的程度.實例表明它有利于確定粒重疊程度和在無法完全消除粒重疊現(xiàn)象時可以設(shè)定一個閾值來判斷是否達到某種可接受的粒重疊程度，這為原有KAIG模型提供了一個新的度量工具.此外在利用次屬性解決粒重疊問題時，若屬性值為連續(xù)型數(shù)據(jù)，則將其轉(zhuǎn)化為離散型數(shù)據(jù)再利用

3、次屬性來降低粒重疊程度，不斷由Purity參數(shù)來決定是否校正次屬性區(qū)間.雖然不能完全消除粒重疊，但是可以大大減少粒重疊的程度，有助于更有效地在屬性值為連續(xù)型數(shù)值型數(shù)據(jù)中提取規(guī)則.實驗表明改進的KAIG算法不僅對非平衡數(shù)據(jù)集分類性能較好，而且對于平衡數(shù)據(jù)集的分類性能也與其他傳統(tǒng)分類算法基本相當(dāng)，特別在當(dāng)屬性值是連續(xù)值時比原有KAIG算法分類性能更好.
　　(2)將改進的KAIG算法應(yīng)用于電信客戶流失預(yù)測問題.由于電信客戶流失是較為典

4、型的非平衡數(shù)據(jù)集，以山西省某市某電信運營商2007年4月至7月的固定電話用戶的數(shù)據(jù)為訓(xùn)練集，對其提取規(guī)則，并預(yù)測了2007年8月的客戶流失情況.同時與目前該運營商以C5.0和Logistic回歸方法為核心的客戶流失預(yù)測模型進行了對比，實驗證明了該算法的有效性.在針對電信客戶流失預(yù)測的實際問題中，首次將ROC曲線引入來度量電信客戶流失預(yù)測的準(zhǔn)確率.
　　本文對非平衡數(shù)據(jù)集的分類問題和電信客戶流失的預(yù)測問題進行了一些研究.但是，如何對