基于密度的局部離群點(diǎn)檢測(cè)算法的研究與應(yīng)用.pdf

1、近年來，隨著傳感器技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的迅猛發(fā)展，數(shù)據(jù)挖掘技術(shù)得到了廣泛的應(yīng)用，影響著人們生活的各個(gè)領(lǐng)域。數(shù)據(jù)挖掘技術(shù)就是從海量的、有噪聲的數(shù)據(jù)集中提取新穎的、有價(jià)值的潛在知識(shí)。離群點(diǎn)檢測(cè)作為數(shù)據(jù)挖掘的一個(gè)熱門分支，主要致力于查找出相對(duì)于其他大量數(shù)據(jù)對(duì)象產(chǎn)生顯著偏離，或不符合一般對(duì)象的行為特征的對(duì)象。目前，離群點(diǎn)檢測(cè)主要應(yīng)用于網(wǎng)絡(luò)攻擊行為檢測(cè)，信用卡詐騙檢測(cè)，極端天氣預(yù)報(bào)，電信話費(fèi)詐騙分析等領(lǐng)域。
　　離群點(diǎn)檢測(cè)的應(yīng)用越來越受到關(guān)注，

2、現(xiàn)有的離群點(diǎn)檢測(cè)算法遭遇到極大挑戰(zhàn)。主要存在如下不足:(1)數(shù)據(jù)量越來越大，數(shù)據(jù)維數(shù)越來越高，甚至達(dá)到成百上千維，而現(xiàn)有的離群點(diǎn)挖掘算法主要針對(duì)中低維的小規(guī)模的數(shù)據(jù)集，難以有效地挖掘高維海量的數(shù)據(jù)集，并且檢測(cè)出的離群點(diǎn)是全局的，而非局部的;(2)簡(jiǎn)單的將離群點(diǎn)看作是一種“非此即彼”的二元屬性，未能對(duì)離群點(diǎn)的離群程度進(jìn)行評(píng)估。
　　本文針對(duì)傳統(tǒng)的基于密度的離群點(diǎn)檢測(cè)算法LOF、ELSC存在的不足，主要局限在難以適應(yīng)高維大數(shù)據(jù)量的挖掘

3、，并且沒有充分考慮數(shù)據(jù)對(duì)象與其鄰域內(nèi)對(duì)象的相對(duì)關(guān)系，挖掘過程中重復(fù)計(jì)算的步驟過多。從而提出了改進(jìn)算法NELSC。本文的主要工作有:
　　(1)針對(duì)海量的大規(guī)模數(shù)據(jù)集，本文提出了基于DBSCAN算法的剪枝策略。根據(jù)DBSCAN算法對(duì)參數(shù)敏感的特點(diǎn)，通過使用多組不同的數(shù)據(jù)參數(shù)，得到不同的DBSCAN聚類結(jié)果，然后對(duì)結(jié)果進(jìn)行分析整合，將簇?cái)?shù)據(jù)剪枝，得到初步的離群數(shù)據(jù)集。使用多組不同的參數(shù)是為了避免誤將簇邊緣的數(shù)據(jù)對(duì)象錯(cuò)剪，這樣可以最大程

4、度地減小數(shù)據(jù)量，降低計(jì)算復(fù)雜度，同時(shí)又可以保證檢測(cè)的精確度。
　　(2)針對(duì)傳統(tǒng)算法對(duì)高維數(shù)據(jù)集檢測(cè)低效的問題，文中提出基于信息熵的離群子空間策略，通過使用該策略，對(duì)不同的對(duì)象屬性賦予不同的權(quán)值，根據(jù)不同屬性權(quán)值生成不同的屬性權(quán)向量，進(jìn)而計(jì)算得到對(duì)象之間的熵權(quán)距離，有效地解決了高維數(shù)據(jù)挖掘中存在的“維度災(zāi)難”問題，實(shí)現(xiàn)了在高維空間中基于密度的局部離群點(diǎn)挖掘。
　　(3)在DBSCAN算法聚類的過程中和計(jì)算局部離群系數(shù)時(shí)，傳統(tǒng)