分類數(shù)據(jù)離群點(diǎn)檢測(cè)算法的研究與改進(jìn)

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范( 試行) 》。另外，該學(xué)位論文為( ) 課題( 組)的研究成果，獲得( ) 課題( 組) 經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在( ) 實(shí)驗(yàn)室完成。( 請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲

2、明人( 簽名) ．必曼b i 廠年歲月≯≥日摘要摘要離群點(diǎn)檢測(cè)是數(shù)據(jù)挖掘中重要的研究分支，用于識(shí)別某些特征顯著區(qū)別于其他觀測(cè)數(shù)據(jù)的對(duì)象。在實(shí)際應(yīng)用如評(píng)估金融風(fēng)險(xiǎn)、檢測(cè)結(jié)構(gòu)的缺陷、侵入檢測(cè)等領(lǐng)域中會(huì)出現(xiàn)的一些離群數(shù)據(jù)，它們往往預(yù)示了某些重要的信息。通過對(duì)檢測(cè)出的離群數(shù)據(jù)進(jìn)行分析，可以獲取大量能用于預(yù)測(cè)和決策支持的有用的知識(shí)。因此，離群點(diǎn)檢測(cè)是一個(gè)相當(dāng)有意義的研究方向。本文以離群點(diǎn)檢測(cè)為研究背景，以提高分類數(shù)據(jù)離群點(diǎn)檢測(cè)性能為主要目標(biāo)，在介

3、紹離群點(diǎn)相關(guān)的概念和主要檢測(cè)方法的基礎(chǔ)上，主要對(duì)基于加權(quán)頻率和聚類、基于信息熵的半監(jiān)督離群檢測(cè)算法進(jìn)行了深入研究并進(jìn)行改進(jìn)，具體工作如下：1 、分類數(shù)據(jù)集中含有多種屬性，不同屬性對(duì)數(shù)據(jù)對(duì)象的離群程度的影響是不同的。針對(duì)現(xiàn)有分類數(shù)據(jù)離群檢測(cè)算法將屬性視為同等重要的不足，提出基于加權(quán)頻率的離群檢測(cè)策略。根據(jù)屬性對(duì)離群性的貢獻(xiàn)程度賦予不同的權(quán)值，再結(jié)合數(shù)據(jù)的屬性頻率，計(jì)算數(shù)據(jù)對(duì)象的加權(quán)頻率值。數(shù)據(jù)加權(quán)頻率值的大小能夠反應(yīng)數(shù)據(jù)離群程度的大小。2

4、 、針對(duì)基于頻率的算法對(duì)多個(gè)頻繁屬性共同作用的離群點(diǎn)檢測(cè)效果不佳的情況，通過對(duì)兩種類型離群點(diǎn)進(jìn)行定義，在加權(quán)頻率離群檢測(cè)策略的基礎(chǔ)上，結(jié)合聚類算法提出基于加權(quán)頻率聚類的離群檢測(cè)算法。根據(jù)加權(quán)頻率策略和聚類距離得到的數(shù)據(jù)離群程度的排序，構(gòu)造得到最終的離群點(diǎn)數(shù)據(jù)集。該算法能夠有效檢測(cè)兩種類型的離群點(diǎn)，從而提高離群檢測(cè)率。3 、針對(duì)現(xiàn)有的大多數(shù)無監(jiān)督分類數(shù)據(jù)離群點(diǎn)檢測(cè)算法，誤報(bào)率較高且精確率較低的不足進(jìn)行改進(jìn)，提出基于信息熵的半監(jiān)督離群點(diǎn)檢測(cè)