基于半隨機(jī)多決策樹模型的數(shù)據(jù)流概念漂移發(fā)現(xiàn)研究.pdf

1、網(wǎng)絡(luò)等信息技術(shù)的迅速發(fā)展和廣泛應(yīng)用產(chǎn)生了大量的數(shù)據(jù)流，如：超市交易記錄、網(wǎng)絡(luò)搜索請(qǐng)求、電信通話記錄等。這些數(shù)據(jù)流中隱含著豐富的有價(jià)值的知識(shí)亟待挖掘。分類算法研究作為數(shù)據(jù)挖掘的一個(gè)重要分支，針對(duì)數(shù)據(jù)流的分類規(guī)則挖掘研究課題在信用卡欺詐，網(wǎng)絡(luò)入侵發(fā)現(xiàn)等領(lǐng)域具有重要的應(yīng)用價(jià)值。 然而，由于數(shù)據(jù)流具有快速性、無限性、連續(xù)性、多變性等特征，特別是其中隱含的概念漂移現(xiàn)象使得大多數(shù)傳統(tǒng)的分類算法因需要多遍掃描數(shù)據(jù)庫以及存儲(chǔ)全部數(shù)據(jù)，而不再適用

2、。因此，研究高效的數(shù)據(jù)流分類知識(shí)發(fā)現(xiàn)算法成為重要的研究課題。本文主要針對(duì)數(shù)據(jù)流的分類問題開展了以下工作的研究： (1)概述了數(shù)據(jù)流的定義、特點(diǎn)、應(yīng)用領(lǐng)域、理論基礎(chǔ)及其數(shù)據(jù)處理方法：介紹了概念漂移問題的定義、分類、度量標(biāo)準(zhǔn)等內(nèi)容；總結(jié)與分析了數(shù)據(jù)流及其概念漂移問題的現(xiàn)狀，對(duì)未來研究進(jìn)行了展望。 (2)針對(duì)傳統(tǒng)決策樹挖掘算法，在處理數(shù)據(jù)流時(shí)所存在時(shí)空性能的局限，提出基于隨機(jī)決策樹模型的半隨機(jī)化多決策樹的增量式分類算法SRMT

3、DS。該算法利用Hoeffding邊界不等式，采用啟發(fā)式方法確定連續(xù)屬性結(jié)點(diǎn)的分割閾值，同時(shí)引入樸素貝葉斯方法判斷葉子結(jié)點(diǎn)類別標(biāo)識(shí)。分析與實(shí)驗(yàn)表明，與經(jīng)典算法VFDTc相比，該算法的空間性能和抗噪能力有顯著提高，分類精度有所提升，并且在處理屬性維度較大的連續(xù)型數(shù)據(jù)庫時(shí)，其時(shí)間性能也有明顯的優(yōu)勢(shì)。 (3)針對(duì)數(shù)據(jù)流概念漂移問題，以半隨機(jī)決策樹模型為基礎(chǔ)，提出處理數(shù)據(jù)流概念漂移問題的增量式分類算法SRMTCD。該算法采用訓(xùn)練窗口與測(cè)