弱可用數(shù)據(jù)上的分類(lèi)算法研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)規(guī)模不斷增大，尤其是在以計(jì)算機(jī)和互聯(lián)網(wǎng)為基礎(chǔ)的應(yīng)用中數(shù)據(jù)更是以指數(shù)形式增長(zhǎng)。海量數(shù)據(jù)在帶來(lái)豐富信息的同時(shí)，也帶來(lái)許多質(zhì)量問(wèn)題，如數(shù)據(jù)不完整、不一致、不精確、陳舊等，這些問(wèn)題嚴(yán)重地制約著數(shù)據(jù)的運(yùn)用價(jià)值。目前，數(shù)據(jù)可用性已經(jīng)引起了人們廣泛的關(guān)注并取得了一定的研究成果。但是這些研究主要集中在數(shù)據(jù)清洗和修復(fù)方面，它們最主要的缺點(diǎn)是執(zhí)行的時(shí)間代價(jià)較大，無(wú)法徹底清除和修復(fù)數(shù)據(jù)，并且由于修復(fù)目標(biāo)與運(yùn)用之間的不一致，可能使得后續(xù)

2、的處理過(guò)程發(fā)生偏斜和錯(cuò)誤，進(jìn)而得到不可靠的結(jié)論，尤其是在數(shù)據(jù)挖掘中這種現(xiàn)象更為嚴(yán)重。因而，在一定程度上需要容忍可用性較差的數(shù)據(jù)存在并直接基于這些弱可用的數(shù)據(jù)進(jìn)行分析處理。此外，在數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域雖然人們提出了許多分類(lèi)算法，但是所提出的方法通常假定數(shù)據(jù)是高度可用的，很少考慮到數(shù)據(jù)的質(zhì)量問(wèn)題。為了避免數(shù)據(jù)清洗和修復(fù)可能引入的誤差，也同時(shí)將數(shù)據(jù)可用性和分類(lèi)算法作為一個(gè)整體考慮，本文研究弱可用性數(shù)據(jù)上的分類(lèi)算法。
　　文中主要研究了

3、如何直接在不完整和含有噪聲的數(shù)據(jù)上進(jìn)行分類(lèi)。針對(duì)不完整數(shù)據(jù)，給出了基本完整性度量和基于熵的完整性度量，分別從屬性、元組、類(lèi)別、數(shù)據(jù)集四個(gè)層次度量了訓(xùn)練數(shù)據(jù)的完整性，提出了基于區(qū)間集合和基于信息論的分類(lèi)算法?；趨^(qū)間集合的方法利用集合作為上下界來(lái)刻畫(huà)缺失屬性組合所覆蓋的實(shí)例，并通過(guò)并交差補(bǔ)運(yùn)算得到分類(lèi)規(guī)則，最終針對(duì)每條分類(lèi)規(guī)則給出相應(yīng)的置信區(qū)間?；谛畔⒄摰姆椒▽⒎诸?lèi)視為一個(gè)不斷減小不確定性的過(guò)程，算法首先計(jì)算類(lèi)別的初始不確定性，然后利用