數(shù)據(jù)流特征選擇策略的研究.pdf

1、隨著信息技術(shù)尤其是網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的應(yīng)用領(lǐng)域，如網(wǎng)絡(luò)監(jiān)控、垃圾郵件分類、傳感器網(wǎng)絡(luò)等，需要對其以每天數(shù)以百萬Gbit增長的流數(shù)據(jù)進(jìn)行實時處理。由于流數(shù)據(jù)經(jīng)常呈現(xiàn)高維性，包含著大量無關(guān)特征和冗余特征，當(dāng)對其進(jìn)行直接處理時，有可能極大地影響學(xué)習(xí)算法的效率。利用屬性相關(guān)性進(jìn)行特征選擇，消除無關(guān)特征和冗余特征，可以提高挖掘算法的效率，改善精確性等學(xué)習(xí)性能。然而，數(shù)據(jù)流的實時性、無限性以及概念漂移特點，也對傳統(tǒng)的特征降維算法提出了嚴(yán)峻的挑

2、戰(zhàn)。針對數(shù)據(jù)流的這些特點，尋找適合于數(shù)據(jù)流的數(shù)據(jù)結(jié)構(gòu)，研究有效度量屬性相關(guān)性的方法對流數(shù)據(jù)進(jìn)行降維，這已經(jīng)成為目前數(shù)據(jù)流研究的一個熱點。
　　 首先，本文深入探討了特征選擇的相關(guān)技術(shù)，研究了現(xiàn)有的特征選擇方法在屬性相關(guān)性度量方面存在的不足，結(jié)合流數(shù)據(jù)實時性，無限性、概念漂移的特點，提出了一種基于擬合的數(shù)據(jù)流特征選擇算法FSCFFR，該算法可以有效地消除流數(shù)據(jù)中的冗余特征，提高了學(xué)習(xí)算法的性能。
　　 其次，本文針對數(shù)據(jù)流

3、實時性的要求，提出了采用并行計算進(jìn)行數(shù)據(jù)流特征選擇的實施策略，傳統(tǒng)的串行處理速度受限于單處理器的最大物理處理速度，而并行計算可以通過多處理器聯(lián)合在一定程度上克服這種處理瓶頸。本文采用管理者/工作者模型，并在MPI環(huán)境下設(shè)計實現(xiàn)了兩種通信策略的并行算法，實驗表明，利用并行計算可以有效地提高流數(shù)據(jù)特征選擇的效率和速度。
　　 最后，為了驗證特征選擇在實際應(yīng)用場景下的表現(xiàn)，本文將整個處理方法運用到網(wǎng)絡(luò)入侵檢測中，對網(wǎng)絡(luò)入侵檢測系統(tǒng)中的