基于多重選擇機制的概念漂移數(shù)據(jù)流挖掘算法研究.pdf

1、近年來，隨著數(shù)據(jù)挖掘技術的逐步成熟，它在各行業(yè)中的應用也越發(fā)廣泛，尤其是銀行業(yè)、零售業(yè)、交通運輸行業(yè)、互聯(lián)網(wǎng)行業(yè)等領域，數(shù)據(jù)挖掘技術已經(jīng)成為了重點支柱性技術。數(shù)據(jù)挖掘技術帶來的技術革命，越來越被人們所關注。
　　 研究者們圍繞數(shù)據(jù)挖掘技術展開了多角度，深層次的研究，使得數(shù)據(jù)挖掘在短短十幾年中不斷成熟，已經(jīng)形成了多種數(shù)據(jù)挖掘系統(tǒng)，很多大型數(shù)據(jù)庫中也已經(jīng)融合了數(shù)據(jù)挖掘功能。
　　 隨著數(shù)據(jù)挖掘技術的應用領域不斷拓展，人們發(fā)現(xiàn)

2、了很多新型的數(shù)據(jù)形式，如Web文本挖掘、多媒體挖掘、圖像挖掘、數(shù)據(jù)流挖掘等。其中，隨著互聯(lián)網(wǎng)的不斷深入，越來越多的數(shù)據(jù)都需要能夠獲得及時地、在線地進行處理，因此，數(shù)據(jù)流挖掘技術應運而生。但是，由于數(shù)據(jù)流本身具有無限性、時變性、高速性等特點，使得對數(shù)據(jù)流的挖掘比傳統(tǒng)的靜態(tài)數(shù)據(jù)挖掘要難。數(shù)據(jù)流性要求算法必須對在一次掃描的同時就能夠獲得知識，因為，數(shù)據(jù)流是無限到達，對舊的數(shù)據(jù)再次取出掃描的成本開銷非常大；數(shù)據(jù)流的時變性又常常伴隨著概念漂移問題

3、，因此，單一的分類或聚類算法無法滿足精度的要求；數(shù)據(jù)流的高速性對算法的運行效率是實時性提出了巨大的挑戰(zhàn)。
　　 目前國際上對數(shù)據(jù)流的挖掘主要方法有分類和聚類。其中分類方法應用比較廣泛。數(shù)據(jù)流分類挖掘主要有兩種思想，一類是利用集成思想，將多個基礎分類器集成為分類器系綜的形式，再根據(jù)對訓練數(shù)據(jù)集的分類預測動態(tài)地采用不同的分類器進行分類；另一類是引入信息增益的決策樹算法，主要的算法有VFDT和CVFDT。VFDT算法是決策樹在數(shù)據(jù)流挖

4、掘領域的一次重大的改進，它使得數(shù)據(jù)流挖掘算法更加簡潔，也讓數(shù)據(jù)流的在線分析變得更加方便，但是VFDT算法沒有考慮到概念漂移問題。概念漂移是數(shù)據(jù)流分類挖掘中的一個難點，它是伴隨著數(shù)據(jù)流的時變性而產(chǎn)生的。CVFDT就是針對這一問題的VFDT改進算法。
　　 本文重點研究了數(shù)據(jù)流分類挖掘中存在的概念漂移問題，并在CVFDT算法的基礎上進行改進，提出一種多重選擇決策樹算法mCVFDT。該算法將多重屬性的選擇機制加入到節(jié)點結(jié)構(gòu)中來，克服了