基于多視角聚類的離群檢測算法研究.pdf

1、離群檢測是數(shù)據(jù)挖掘的重要任務(wù)之一，它的主要目標是從數(shù)據(jù)集中發(fā)現(xiàn)與大部分其他數(shù)據(jù)點有顯著區(qū)別的樣本。這些數(shù)據(jù)點往往蘊含著重要的信息，有很重要的使用價值和廣闊的應(yīng)用前景，為全面認識數(shù)據(jù)提供支持。因而，近年來離群檢測算法在各個專業(yè)領(lǐng)域應(yīng)用廣泛。包括網(wǎng)絡(luò)入侵，信用卡欺詐，生態(tài)系統(tǒng)失衡，醫(yī)療衛(wèi)生等。在大數(shù)據(jù)時代，面對爆炸增長的海量數(shù)據(jù)和多維數(shù)據(jù)帶來的維數(shù)災(zāi)難，怎樣快速挖掘出隱藏在其中的離群點成為一個極具挑戰(zhàn)性的課題。傳統(tǒng)的離群檢測算法，例如基于聚

2、類的，基于密度的離群檢測算法，大多從全部屬性空間尋找離群點，然而，有些離群點的離群特性只能在特定的子空間才有所體現(xiàn)，維數(shù)災(zāi)難淹沒了這些離群點。另一方面，傳統(tǒng)離群檢測算法只從單一視角解讀數(shù)據(jù)，然而對一個數(shù)據(jù)集，可能內(nèi)部蘊含不同的產(chǎn)生機制，從而有不同視角的加以解讀。針對傳統(tǒng)算法在維數(shù)災(zāi)難和單一視角情況下不能有效發(fā)現(xiàn)離群點的問題，本文提出一種基于多視角聚類的離群檢測算法。該算法一方面采用譜聚類，以確保高質(zhì)量的聚類結(jié)果；另一方面通過希爾伯特-施

3、密特獨立性準則，以確保新的聚類結(jié)果相對于已知劃分模式是無冗余的。對得到多個視角進行離群分析，從而得到更準確的離群集。
　　本研究主要內(nèi)容包括：①分析單視角下離群檢測，重點分析單視角存在的離群信息淹沒問題和對離群點解釋性的問題，分析多視角在解決這些問題方面的優(yōu)勢。②KDAC利用譜聚類獲得高質(zhì)量的聚類結(jié)果。介紹譜聚類算法，分析譜聚類優(yōu)勢，為多個視角的發(fā)現(xiàn)打下堅實基礎(chǔ)。③引入希爾伯特-施密特獨立性準則HSIC，將HSIC作為新視角發(fā)現(xiàn)的