基于流記錄的高速網(wǎng)絡(luò)應(yīng)用層協(xié)議識別方法的研究.pdf

1、準(zhǔn)確識別當(dāng)前網(wǎng)絡(luò)流量所使用的應(yīng)用協(xié)議可以為網(wǎng)絡(luò)監(jiān)測、分析與管理提供較傳統(tǒng)SNMP協(xié)議更豐富細(xì)致的網(wǎng)絡(luò)使用狀況報告，并且是QoS、SLA等服務(wù)的前提和基礎(chǔ)。但是，隨著網(wǎng)絡(luò)帶寬的飛速增長，新應(yīng)用協(xié)議的不斷涌現(xiàn)，以及現(xiàn)有協(xié)議私密性和動態(tài)性的增強，目前已有的應(yīng)用協(xié)議識別方法在整體的精度、協(xié)議的粒度、識別的時空復(fù)雜度、以及方法的靈活性與通用性方面達(dá)不到令人滿意的效果，無法滿足在10Gbps主干網(wǎng)絡(luò)信道環(huán)境下實時準(zhǔn)確標(biāo)記應(yīng)用協(xié)議的要求。
　　

2、 本論文針對實際需求，對應(yīng)用協(xié)議識別過程的各個方面進(jìn)行了深入系統(tǒng)地分析和改進(jìn)，從而達(dá)到基于當(dāng)前網(wǎng)管可用的數(shù)據(jù)，即抽樣流記錄，實時準(zhǔn)確地標(biāo)識當(dāng)前10Gbps高速網(wǎng)絡(luò)信道中每條流所使用的應(yīng)用協(xié)議的最終目標(biāo)。
　　 論文主要包括三部分內(nèi)容：首先針對應(yīng)用協(xié)議識別的基礎(chǔ)——協(xié)議行為特征，提出了新的特征選擇和測度相關(guān)關(guān)系分析方法，為協(xié)議識別提供有效依據(jù)；然后，基于優(yōu)化的測度選擇，在理論環(huán)境中討論協(xié)議識別問題，即基于非抽樣流記錄的識別方法；

3、最后逐步限制環(huán)境條件，提出了基于抽樣流記錄和抽樣NetFlow流記錄的應(yīng)用協(xié)議識別方法。實驗結(jié)果表明，在1/256常用報文抽樣比設(shè)置的NetFlow流記錄實際環(huán)境下，應(yīng)用協(xié)議識別達(dá)到超過86％的準(zhǔn)確率，并滿足實時監(jiān)測10Gbps主干網(wǎng)絡(luò)信道流量的效率要求。
　　 論文第一部分首先針對目前研究對協(xié)議行為特征的理解不夠全面準(zhǔn)確的情況，在分析行為特征選擇的本質(zhì)屬性基礎(chǔ)上，提出了一種基于卡方統(tǒng)計的判斷某行為測度是否可作為網(wǎng)絡(luò)應(yīng)用層協(xié)議的

4、行為特征，并對該行為特征的顯著程度進(jìn)行評估的方法——ABSA。該方法以數(shù)理統(tǒng)計理論中的卡方統(tǒng)計檢驗為基礎(chǔ)，使用假設(shè)檢驗判斷兩分布的擬合程度，從本質(zhì)上確定測度是否可作為某協(xié)議的行為特征；使用趨向變量分布情況的區(qū)間隨機劃分啟發(fā)式算法，保證了卡方統(tǒng)計量的穩(wěn)定性；使用多自由度間的投票判斷方式，消除自由度的不確定性；使用某置信度水平下各自由度的臨界分位點對卡方統(tǒng)計量進(jìn)行均化，消除統(tǒng)計量隨自由度的增長對衡量差異造成的不利影響，保證了各自由度下統(tǒng)計量

5、所占權(quán)重一致。較現(xiàn)有的特征分析方法，ABSA方法對協(xié)議行為特征判定和顯著程度分析的結(jié)果更為準(zhǔn)確有效，并且具有協(xié)議樣本數(shù)比例無關(guān)等特性，可為協(xié)議識別提供更豐富有效的信息。
　　 為避免冗余測度對協(xié)議識別的負(fù)面影響，論文將對稱不確定性(SU)引入測度相關(guān)關(guān)系分析過程，并將該方法擴展至衡量兩任意維測度向量間的相關(guān)關(guān)系。相較于目前相關(guān)研究中廣泛使用的Pearson相關(guān)系數(shù)方法，SU方法不僅可以準(zhǔn)確表示Pearson相關(guān)系數(shù)所能體現(xiàn)的測度

6、間線性關(guān)系，而且能夠彌補由于Pearson相關(guān)系數(shù)的本質(zhì)缺陷所導(dǎo)致的非線性關(guān)系問題、極端值、以及復(fù)相關(guān)等問題，提高了網(wǎng)絡(luò)流測度相關(guān)關(guān)系分析方法的準(zhǔn)確性和通用性。同時，論文首次使用隨機數(shù)仿真和多項式擬合的方法，利用Pearson相關(guān)系數(shù)在關(guān)系時的準(zhǔn)確性，歸納出SU和Pearson方法在衡量無極端值線性關(guān)系的取值關(guān)系，揭示SU方法劃分任意類型變量相關(guān)關(guān)系各程度區(qū)間的閾值。從而不僅保證了SU方法的輸出具有顯式意義，而且使應(yīng)用協(xié)議識別方法冗余測

7、度的刪除有據(jù)可循。
　　 論文第二部分在理論環(huán)境（無抽樣，流測度選取基本無限制）中討論了高速應(yīng)用協(xié)議識別算法，提出了基于多神經(jīng)網(wǎng)絡(luò)鏈的應(yīng)用協(xié)議識別方法——NNAI。該方法采用多個相對獨立的小神經(jīng)網(wǎng)絡(luò)模塊對網(wǎng)絡(luò)流進(jìn)行組合識別，每個獨立的小神經(jīng)網(wǎng)絡(luò)模塊對應(yīng)一種特定的待識別應(yīng)用協(xié)議類別，并在模塊內(nèi)部使用基于FR共軛梯度的反向傳播算法代替?zhèn)鹘y(tǒng)BP訓(xùn)練算法。NNAI方法可利用自身各神經(jīng)網(wǎng)絡(luò)間的松耦合結(jié)構(gòu)，巧妙且有效地利用ABSA方法得出的

8、每個待識別應(yīng)用協(xié)議所獨有的行為特征。較現(xiàn)有應(yīng)用協(xié)議識別方法，NNAI方法可處理更復(fù)雜的網(wǎng)絡(luò)行為分布，將識別對象由完整TCP流擴展至所有TCP+UDP流；在保證占網(wǎng)絡(luò)總流量比例較大協(xié)議原有的識別高精度的前提下，提高了小類別協(xié)議識別精度，使得識別總準(zhǔn)確率進(jìn)一步上升；并且具有各協(xié)議識別精度可控、協(xié)議識別對象增/減/細(xì)化/概化過程簡單有效、時空復(fù)雜度低、以及可進(jìn)行并行處理的優(yōu)點。
　　 論文第三部分首先分析了報文抽樣對協(xié)議間的行為特征和

9、ABSA方法的影響、對協(xié)議行為測度間相關(guān)關(guān)系和SU方法的影響、以及對協(xié)議識別和NNAI方法的影響。指出在抽樣環(huán)境下，原有特征顯著程度降低，并且測度間相關(guān)關(guān)系隨各測度的不同呈單調(diào)增或減的趨勢：但是，在流數(shù)量滿足統(tǒng)計意義的前提下，協(xié)議行為特征的選擇順序和各測度間的相關(guān)關(guān)系程度區(qū)間均與抽樣比無關(guān)。在高抽樣比環(huán)境中，協(xié)議識別所依賴的有效信息減少，協(xié)議識別準(zhǔn)確率較未抽樣時降低。論文針對高抽樣比環(huán)境下待處理流量顯著降低，計算資源較充裕的情況，將空間

10、維協(xié)議行為特征引入NNAI方法，并增加了通過已知協(xié)議的端口號進(jìn)行流關(guān)聯(lián)識別的過程，將原方法改進(jìn)為可依賴更多信息的協(xié)議識別方法NNAIS。相較于原NNAI方法，NNAIS方法的準(zhǔn)確率和各協(xié)議的識別精度在抽樣環(huán)境下均有不同程度的提高，可滿足實際常用抽樣比環(huán)境中應(yīng)用協(xié)議識別的精度和實時性的需要。
　　 為了使應(yīng)用協(xié)議識別方法可實際用于網(wǎng)管系統(tǒng)中，論文分析了目前已成為標(biāo)準(zhǔn)并被廣泛使用的流信息統(tǒng)計與交換協(xié)議——NetFlow的工作機制以及