數(shù)據(jù)挖掘中的離群點(diǎn)檢測算法研究.pdf

1、離群點(diǎn)檢測是數(shù)據(jù)挖掘中的一個(gè)分支，它的任務(wù)是識別其特征顯著不同于其他數(shù)據(jù)的觀測值。在我們平常的社會生活和自然界中，大部分的事件和對象，都是很尋?；蛘呤瞧椒驳?。但是我們也不能因此忽視，在其中也有很多不尋?；蛘卟黄椒驳膶ο蟠嬖诘目赡苄?。這些對象的事件背后可能蘊(yùn)含著更大的研究價(jià)值，有著廣闊的應(yīng)用前景。因此，離群點(diǎn)檢測是一個(gè)非常有意義的研究方向。
　　目前，研究者們已經(jīng)提出了很多離群點(diǎn)檢測方法，包括基于統(tǒng)計(jì)的離群點(diǎn)檢測方法、基于頻率的離群

2、點(diǎn)檢測方法、基于深度的離群點(diǎn)檢測方法、基于距離的離群點(diǎn)檢測方法和基于密度的離群點(diǎn)檢測方法等。本文分析了離群點(diǎn)檢測的研究背景、意義和國內(nèi)外研究現(xiàn)狀，研究基于距離的離群點(diǎn)檢測方法和基于頻率的離群點(diǎn)檢測方法，并改進(jìn)了傳統(tǒng)的離群點(diǎn)檢測方法。
　　屬性通?？梢苑譃閮深?，包括數(shù)值屬性以及分類屬性。本文詳細(xì)分析了兩種屬性的區(qū)別，并做了以下工作:
　　針對數(shù)值數(shù)據(jù)，對傳統(tǒng)的基于距離的檢測算法進(jìn)行改進(jìn)。傳統(tǒng)的基于距離的檢測算法輸入?yún)?shù)多，而且

3、算法對參數(shù)比較敏感，因此選擇基于平均距離的離群點(diǎn)檢測算法。針對這種算法計(jì)算量大，在大數(shù)據(jù)集中不適用的問題，根據(jù)如果數(shù)據(jù)對象r鄰域內(nèi)數(shù)據(jù)的個(gè)數(shù)達(dá)到k個(gè)以上就不是離群點(diǎn)的規(guī)則剪去部分非離群點(diǎn)，通過聚類，將類別按照密度進(jìn)行排序，先選擇密度小的類別開始檢測，離群度閾值可以迅速增大，利用剪枝規(guī)則再次剪枝。這樣可以大大減小運(yùn)算時(shí)間。
　　針對分類數(shù)據(jù)，分析了基于距離的算法的不足，介紹了針對分類數(shù)據(jù)的常用的離群點(diǎn)檢測方法，包括基于頻率的方法和基