高維空間大數(shù)據(jù)集分布式聚類及離群知識發(fā)現(xiàn)算法研究.pdf

1、聚類分析是數(shù)據(jù)挖掘的重要研究課題，它是數(shù)據(jù)挖掘研究的重要內(nèi)容、手段和工具，因而成為一個被不斷探索并充滿創(chuàng)新的研究主題。離群知識發(fā)現(xiàn)是近年來倍受數(shù)據(jù)挖掘研究者關注的一個新興研究領域，它研究數(shù)據(jù)中少數(shù)異常而新穎的數(shù)據(jù)分布模式，離群知識發(fā)現(xiàn)在入侵檢測、風險控制等領域有著廣泛應用。 近年來，隨著衛(wèi)星遙感、X光掃描、分子生物、高能物理研究等技術的發(fā)展，大量的數(shù)據(jù)被存儲在數(shù)據(jù)庫中，這些數(shù)據(jù)具有維度高、數(shù)據(jù)分布稀疏、噪聲數(shù)據(jù)多的特點，這就使得

2、面向高維大規(guī)模數(shù)據(jù)集的數(shù)據(jù)挖掘研究成為關鍵。探索并構(gòu)造具有高性能、高效率的新算法是解決高維空間大數(shù)據(jù)集挖掘問題的有效途徑，也是本文開展聚類分析和離群知識發(fā)現(xiàn)研究的著眼點和出發(fā)點。 論文分析了高維空間大數(shù)據(jù)集數(shù)據(jù)分布的特點，以及高維空間大數(shù)據(jù)集挖掘所需解決的問題，對已有的聚類分析及離群知識發(fā)現(xiàn)算法的優(yōu)缺點進行了分析，針對大數(shù)據(jù)集的生成方式，提出分布式挖掘、增量式挖掘、數(shù)據(jù)流挖掘等解決方法，提出了一系列面向高維大規(guī)模數(shù)據(jù)集的有效的聚

3、類及離群知識發(fā)現(xiàn)算法。 針對高維空間數(shù)據(jù)聚類可能出現(xiàn)的數(shù)據(jù)分布稀疏、噪聲數(shù)據(jù)多、聚類參數(shù)設定困難以及“差距趨零”等問題，在DBSCAN算法的基礎上，提出一種k鄰域局部密度聚類算法k-PCLDHD及其優(yōu)化算法k-LDCHD，算法既保持了DBSCAN算法快速高效的特點，又有效地提高了DBSCAN算法對高維空間數(shù)據(jù)聚類的精度；在分布式聚類挖掘方面，提出了分布式聚類算法k-DCBIP，算法結(jié)合向量內(nèi)積知識，對數(shù)據(jù)集進行預處理，并在每次迭

4、代中，對每個數(shù)據(jù)點的歸屬作預判斷，算法可以有效地解決大數(shù)據(jù)集聚類問題；進一步，提出基于DBSCAN的分布式密度聚類算法DDBSCAN，算法具有DBSCAN算法的能夠發(fā)現(xiàn)不同形狀聚類、對噪聲數(shù)據(jù)不敏感、效率高的優(yōu)點，同時，算法還彌補了DBSCAN算法在擴展性和對高維數(shù)據(jù)適應性上的不足。最后，論文對數(shù)據(jù)流挖掘方法進行探討，將數(shù)據(jù)流離群知識發(fā)現(xiàn)與數(shù)據(jù)流聚類分析問題對應起來，提出了基于k均值分區(qū)的適用于高維數(shù)據(jù)流挖掘的密度聚類算法CLUSMD以