離群檢測及其優(yōu)化算法研究.pdf

1、在數(shù)據(jù)集中,離群點(diǎn)是指那些相對(duì)于大量常規(guī)數(shù)據(jù)異常孤立的數(shù)據(jù)模式。在很多情況下離群點(diǎn)被認(rèn)為是噪聲而拋棄,但在實(shí)際應(yīng)用中我們發(fā)現(xiàn)一些包含重要信息的數(shù)據(jù)往往就是離群點(diǎn)。離群檢測就是利用統(tǒng)計(jì)學(xué),機(jī)器學(xué)習(xí),智能計(jì)算,可視化等多種技術(shù)束發(fā)現(xiàn)數(shù)據(jù)集中的離群點(diǎn),供用戶進(jìn)行分析和處理。
　　 由于離群點(diǎn)可能蘊(yùn)含重要知識(shí),離群檢測在預(yù)防電信和信用卡欺詐,醫(yī)療保險(xiǎn),市場分析,氣象預(yù)測等領(lǐng)域有廣泛的應(yīng)用,相關(guān)研究將具有重要的學(xué)術(shù)和現(xiàn)實(shí)意義。然而面對(duì)日益

2、復(fù)雜的大型高維數(shù)據(jù)集,如何迅速有效地發(fā)現(xiàn)并處理異常行為是一個(gè)具有挑戰(zhàn)性的問題。
　　 本文嘗試將聚類與分類方法用于發(fā)現(xiàn)數(shù)據(jù)集中的異常對(duì)象,同時(shí)研究離群檢測相關(guān)的優(yōu)化算法。我們提出了基于譜聚類以及RBF人工神經(jīng)網(wǎng)絡(luò)的離群檢測方法,針對(duì)高維數(shù)據(jù)集定義了關(guān)鍵離群屬性子集的概念并實(shí)現(xiàn)了屬性約簡來優(yōu)化離群檢測。主要工作和成果如下:
　　 ①對(duì)譜聚類基本原理和典型算法做了較為全面的分析和研究,利用譜聚類的特性實(shí)現(xiàn)了在復(fù)雜數(shù)據(jù)集上的聚

3、類。提出了一種改進(jìn)的基于隨機(jī)行走的譜聚類算法,該算法引入了密度敏感的距離量度來更精確地計(jì)算對(duì)象之間的相似性,并且通過計(jì)算隨機(jī)矩陣相關(guān)特征值來自動(dòng)確定數(shù)據(jù)集的最優(yōu)聚類數(shù)。利用該算法獲得的穩(wěn)定聚類,是有效完成離群檢測的前提。
　　 ②首次將譜聚類用于離群檢測,并通過定義擴(kuò)展的多路剪切和分段常數(shù)特征向量證明了其可行性。提出了一種基于譜聚類的離群檢測算法,該算法首先對(duì)數(shù)據(jù)集進(jìn)行聚類,然后計(jì)算所有聚類中對(duì)象的離群因子并根據(jù)該值來確定離群點(diǎn)

4、。在譜聚類過程中,利用共享鄰居的鄰接矩陣構(gòu)造方法來獲得較為稀疏的鄰接矩陣,其特征向量可以用Lanczos算法來快速求解。
　　 ③利用RBF人工神經(jīng)網(wǎng)絡(luò)來構(gòu)造離群檢測模型,該模型使用減法聚類來有效選擇隱節(jié)點(diǎn)中心,同時(shí)獲得更快的訓(xùn)練速度。網(wǎng)絡(luò)訓(xùn)練過程中,在傳統(tǒng)誤差函數(shù)中加入了一個(gè)調(diào)整項(xiàng),旨在消除隱層節(jié)點(diǎn)的波動(dòng)。為每個(gè)輸入樣本定義離群度,在網(wǎng)絡(luò)輸出結(jié)果確定的情況下,可以根據(jù)離群度判斷那些實(shí)際輸出嚴(yán)重偏離其期望的樣本為離群點(diǎn)。