面向數(shù)據(jù)流挖掘算法的研究與改進.pdf

1、大數(shù)據(jù)時代的數(shù)據(jù)挖掘面臨著新的挑戰(zhàn)，大量以數(shù)據(jù)流形式生成的原始信息希望得到即時準確地知識發(fā)現(xiàn)和提取。這些信息由于規(guī)模和時效等方面問題無法全部存入內存或外部存儲，因此無法使用傳統(tǒng)的數(shù)據(jù)挖掘技術對其歸納分析。網(wǎng)絡環(huán)境下普遍出現(xiàn)的高速數(shù)據(jù)流模型需要一種能夠在有限內存中對快速傳輸?shù)臄?shù)據(jù)做出實時響應的單遍掃描挖掘算法。
　　本文根據(jù)工程項目的應用需求，從分析傳統(tǒng)數(shù)據(jù)挖掘和數(shù)據(jù)流挖掘的異同點著手，分析了數(shù)據(jù)流挖掘的背景與不同應用模型下的經典挖

2、掘算法，進而分別從基礎應用、權衡指標、抽樣大小和連續(xù)屬性處理等方面研究了基于Hoeffding Trees的決策樹分類算法。最后在平穩(wěn)數(shù)據(jù)流領域，重點針對VFDT經典算法對連續(xù)屬性處理不足的問題，從連續(xù)屬性離散化的角度提出了一種改進的VFDTCA算法，并采用在連續(xù)屬性最佳分割點的選取上引入Fayyad邊界點原理的方法進行算法的優(yōu)化。通過分析和驗證，面對含有連續(xù)屬性的平穩(wěn)數(shù)據(jù)流樣本，使用基尼指數(shù)作為權衡量并引入Fayyad邊界點原理的VF