網(wǎng)絡(luò)核心節(jié)點(diǎn)異常流量檢測(cè)與控制技術(shù)研究.pdf

1、信息化的快速發(fā)展極大推動(dòng)了社會(huì)的進(jìn)步，信息網(wǎng)絡(luò)成為現(xiàn)代社會(huì)的主要基礎(chǔ)設(shè)施之一，網(wǎng)絡(luò)的安全和高效運(yùn)行直接關(guān)系到社會(huì)活動(dòng)的正常運(yùn)行。伴隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)入侵、服務(wù)攻擊、信息竊取、病毒傳播等惡意行為在各種利益的驅(qū)動(dòng)下變得越來(lái)越普遍，數(shù)量、種類(lèi)和破壞程度不斷增加，其中以DDoS為代表的資源消耗型攻擊由于實(shí)現(xiàn)簡(jiǎn)單和難以防御而成為互聯(lián)網(wǎng)安全的主要威脅，傳統(tǒng)的入侵檢測(cè)主要部署在用戶端，保護(hù)用戶不受攻擊，并不能消除網(wǎng)絡(luò)骨干節(jié)點(diǎn)中的惡意流量，現(xiàn)有核心節(jié)

2、點(diǎn)一般不具備惡意流量的識(shí)別和控制能力，只能任由其傳播，DDoS加上蠕蟲(chóng)傳播和P2P流量消耗了核心節(jié)點(diǎn)的大部分資源，網(wǎng)絡(luò)資源更新發(fā)展的速度跟不上資源的濫用和消耗，所以在核心節(jié)點(diǎn)上部署流量檢測(cè)和控制機(jī)制對(duì)于保障網(wǎng)絡(luò)性能有重要的意義，并且進(jìn)一步可以作為攻擊源定位的信息平臺(tái)。 核心節(jié)點(diǎn)主要實(shí)現(xiàn)數(shù)據(jù)的路由和交換，增加新的流量檢測(cè)和控制功能不能影響其基本工作，可以利用的計(jì)算資源和空間有限，而核心節(jié)點(diǎn)上的數(shù)據(jù)量巨大，對(duì)處理時(shí)間也有很高的要求，

3、加上攻擊手段的多樣性，如何快速處理數(shù)據(jù)流并保證有效性和準(zhǔn)確性是本文的研究目標(biāo)，本文重點(diǎn)對(duì)其中的關(guān)鍵技術(shù)進(jìn)行深入的研究，主要包括以下幾個(gè)方面： 1.本文首先設(shè)計(jì)了一個(gè)應(yīng)用于核心節(jié)點(diǎn)上針對(duì)異常流量檢測(cè)和控制的系統(tǒng)框架，它由三個(gè)層次組成，底層考慮到數(shù)據(jù)的單次掃描和摘要儲(chǔ)存使用了數(shù)據(jù)流模型，只負(fù)責(zé)檢測(cè)數(shù)據(jù)流中的超大頻度流，并不做深入的分析，可以實(shí)現(xiàn)在線的數(shù)據(jù)流處理；中間層使用模式識(shí)別中的聚類(lèi)技術(shù)，解決檢測(cè)技術(shù)對(duì)攻擊先驗(yàn)知識(shí)的依賴，可以把

4、惡意數(shù)據(jù)形成準(zhǔn)確的聚集，這是一種準(zhǔn)實(shí)時(shí)的處理，犧牲一定反應(yīng)時(shí)間換取準(zhǔn)確度；上層使用多層聚集控制策略，根據(jù)協(xié)議使用模式進(jìn)行多層聚集，區(qū)分不同的聚集的惡意程度，從而決定資源的分配，并反饋控制效果。三個(gè)層次有機(jī)結(jié)合，可以及時(shí)發(fā)現(xiàn)并過(guò)濾惡意流量。 2.本文提出了一種基于窗口偏倚度的突變檢測(cè)算法，針對(duì)具體的海量數(shù)據(jù)流進(jìn)行超大頻度流的檢測(cè)，利用基于hash函數(shù)的計(jì)數(shù)器矩陣，并結(jié)合指數(shù)直方圖設(shè)計(jì)了一個(gè)復(fù)式的數(shù)據(jù)摘要結(jié)構(gòu)，這是一種滑動(dòng)窗口模型，

5、窗口內(nèi)的數(shù)據(jù)隨著每個(gè)數(shù)據(jù)的到達(dá)而變化，直方圖內(nèi)的每個(gè)桶各自計(jì)算自己的偏倚度來(lái)表明其中出現(xiàn)大頻度流的程度，指數(shù)直方圖中大小不同的等級(jí)桶設(shè)計(jì)體現(xiàn)了數(shù)據(jù)的時(shí)間衰減性，指數(shù)直方圖的偏倚度可以及時(shí)、準(zhǔn)確地反應(yīng)數(shù)據(jù)流數(shù)據(jù)分布的突變。 3.在數(shù)據(jù)壓縮存儲(chǔ)上對(duì)傳統(tǒng)的計(jì)數(shù)型BloomFilters進(jìn)行了兩個(gè)方面的改進(jìn)，使其更加適應(yīng)針對(duì)大頻度流量計(jì)數(shù)的場(chǎng)合，首先改進(jìn)了計(jì)數(shù)型BloomFilters的計(jì)數(shù)器，提出了邏輯計(jì)數(shù)器的概念，可以在計(jì)數(shù)器滿溢時(shí)

6、侵入其它的計(jì)數(shù)器增加對(duì)數(shù)值的存儲(chǔ)上限，由于使用計(jì)數(shù)器最小值估計(jì)，帶來(lái)的誤判率增加很小。另外針對(duì)計(jì)數(shù)型BloomFilters使用固定數(shù)目的hash函數(shù)，不能事先確定最佳函數(shù)數(shù)目的不足，提出根據(jù)空置的計(jì)數(shù)器來(lái)估計(jì)BloomFilters的使用情況，確定最佳hash函數(shù)數(shù)目，從而減少計(jì)算量。 4.針對(duì)資源消耗型攻擊變異種類(lèi)繁多，基于特征匹配難以實(shí)現(xiàn)的特點(diǎn)，提出一種兩階段聚類(lèi)算法，在可視化分析惡意攻擊的基礎(chǔ)上，利用同一攻擊樣本點(diǎn)相似度

7、高，分布相似的基本特性，在第一階段基于樣本距離實(shí)現(xiàn)密度微聚集，在第二階段基于微聚類(lèi)的分布相似度實(shí)現(xiàn)密度連接，能夠識(shí)別不規(guī)則形狀、區(qū)分不同密度，實(shí)現(xiàn)對(duì)不同攻擊樣本的準(zhǔn)確聚類(lèi)。 5.在資源控制層面，提出了一種多層聚集的限速策略，首先按照不同的協(xié)議和各個(gè)協(xié)議的使用方式把數(shù)據(jù)流劃分成不同層次的多個(gè)聚集，根據(jù)各個(gè)聚集的惡意程度決定其對(duì)資源的占用情況，對(duì)惡意聚集進(jìn)行限速，具體實(shí)現(xiàn)上利用中間層兩階段聚類(lèi)的結(jié)果來(lái)生成過(guò)濾規(guī)則，使其具有更好的準(zhǔn)確