面向大數(shù)據(jù)的高效數(shù)據(jù)挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是分析和處理數(shù)據(jù)的重要方法，它可以從數(shù)據(jù)中挖掘出有價(jià)值的信息，為決策者提供決策支持。近幾年來(lái)，隨著信息技術(shù)的發(fā)展，人們每天產(chǎn)生的數(shù)據(jù)量正以前所未有的速度增長(zhǎng)和累積。巨大的數(shù)據(jù)量及復(fù)雜的數(shù)據(jù)類型，對(duì)已有的數(shù)據(jù)挖掘算法提出了新的挑戰(zhàn)。特別是大數(shù)據(jù)概念的提出，由于其具有數(shù)據(jù)量大、多樣性、高效性等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)挖掘算法受限于內(nèi)存、效率、擴(kuò)展性等因素而無(wú)法有效地處理大數(shù)據(jù)。如何更加高效地處理大數(shù)據(jù)，從中挖掘所需的信息，成為當(dāng)前研究大數(shù)據(jù)

2、的熱點(diǎn)。
　　目前，對(duì)大數(shù)據(jù)挖掘的研究，主要還是依賴于海量數(shù)據(jù)的處理技術(shù)。這些技術(shù)主要包括抽樣技術(shù)、增量式技術(shù)、分布式技術(shù)、云計(jì)算等。聚類分析在數(shù)據(jù)挖掘占有重要地位，在實(shí)際中有著廣泛的應(yīng)用。本文把面向大數(shù)據(jù)的聚類算法作為研究對(duì)象，重點(diǎn)研究了基于增量式的聚類算法和基于分布式的聚類算法。
　　在增量式聚類中，分析了單個(gè)數(shù)據(jù)塊的聚類結(jié)果質(zhì)量和數(shù)據(jù)塊之間聚類信息的傳遞對(duì)最終結(jié)果的影響，并提出了改進(jìn)方法，提高聚類精度。對(duì)于單個(gè)數(shù)據(jù)塊，

3、通過優(yōu)化初始聚類中心，來(lái)提高聚類結(jié)果質(zhì)量。對(duì)于數(shù)據(jù)塊之間信息的傳遞，通過選取多個(gè)傳遞點(diǎn)，以傳遞更加精確的信息。分布式聚類可以分為局部聚類階段和全局聚類階段。在現(xiàn)有的算法中，局部聚類階段數(shù)據(jù)塊之間幾乎沒有信息交流，容易出現(xiàn)局部聚類信息丟失的現(xiàn)象。本文通過向各數(shù)據(jù)塊傳遞所有局部聚類結(jié)果的方式，重新對(duì)各數(shù)據(jù)塊聚類，修正局部聚類結(jié)果，以得到更純的子類。全局聚類階段是對(duì)局部結(jié)果的合并，本文通過綜合考慮局部結(jié)果之間的距離差異性和分布差異性，改進(jìn)了合