具有規(guī)模適應(yīng)性的互聯(lián)網(wǎng)流量識別方法研究.pdf

1、互聯(lián)網(wǎng)流量識別是互聯(lián)網(wǎng)流量測量領(lǐng)域的研究熱點(diǎn)問題之一。以P2P流量為主要對象的流量識別、管理已經(jīng)成為學(xué)術(shù)界、網(wǎng)絡(luò)工程界、國家有關(guān)部門普遍關(guān)心的問題。高效、準(zhǔn)確地識別互聯(lián)網(wǎng)流量對于分析網(wǎng)絡(luò)發(fā)展趨勢、提供服務(wù)質(zhì)量保證、動態(tài)訪問控制、網(wǎng)絡(luò)合法管理、異常行為檢測等都有很重要的現(xiàn)實意義。 傳統(tǒng)的以知名端口和應(yīng)用層載荷特征碼為基礎(chǔ)的流量識別方法難以應(yīng)對端口偽裝、端口隨機(jī)選擇和應(yīng)用層數(shù)據(jù)加密等反監(jiān)測技術(shù)趨勢。基于應(yīng)用行為和流特征的方法已經(jīng)受到

2、研究人員關(guān)注，但識別準(zhǔn)確率、實時處理能力、自動學(xué)習(xí)能力和新應(yīng)用發(fā)現(xiàn)能力等都是需要面對的挑戰(zhàn)。 具有規(guī)模適應(yīng)性的互聯(lián)網(wǎng)流量識別方法的研究目標(biāo)是面向不同網(wǎng)絡(luò)規(guī)模、不同宏觀程度以及不同識別粒度的分析需求，研究在不同層次和不同范圍內(nèi)對互聯(lián)網(wǎng)傳輸?shù)膬?nèi)容進(jìn)行區(qū)分，對互聯(lián)網(wǎng)應(yīng)用行為進(jìn)行分析的有效方法和組織方式。并從智能學(xué)習(xí)特性、在線實時處理能力、混合分類實施方式以及不同范圍內(nèi)的分布式處理方法等方面提出了新的目標(biāo)。 論文基于此研究面向單

3、點(diǎn)、有限網(wǎng)絡(luò)規(guī)模和互聯(lián)網(wǎng)范圍的流量識別和行為分析方法。針對上述關(guān)鍵性問題展開研究，主要貢獻(xiàn)和創(chuàng)新包括以下幾點(diǎn)： (1)提出基于數(shù)據(jù)引力和細(xì)分識別空間理論的半監(jiān)督學(xué)習(xí)(DGFDRS-SSL)模型，在此基礎(chǔ)上研究基于流統(tǒng)計特征的機(jī)器學(xué)習(xí)流量識別方法。 把樣本空間的數(shù)據(jù)點(diǎn)視為質(zhì)量點(diǎn)，定義數(shù)據(jù)點(diǎn)之間的歐式距離為樣本距離，借用萬有引力定律提出數(shù)據(jù)空間中的數(shù)據(jù)引力(DG)理論，基于數(shù)據(jù)引力實施樣本聚類。提出細(xì)分識別空間(FDRS)理

4、論，對分類識別空間進(jìn)行不同維度和細(xì)度的劃分，采用染色的方法對劃分后的識別空間進(jìn)行區(qū)分，形成一個具有細(xì)分特征的識別空間。數(shù)據(jù)樣本聚類后把聚類結(jié)果映射到細(xì)分識別空間，在染色原則指導(dǎo)下根據(jù)有“標(biāo)記”樣本對識別空間染色得到半監(jiān)督學(xué)習(xí)分類訓(xùn)練模型。把模型用于面向單點(diǎn)的流統(tǒng)計特征流量識別，克服了傳統(tǒng)有導(dǎo)師學(xué)習(xí)方法需要大量有分類“標(biāo)記”樣本缺點(diǎn)，具有較高的性能和新應(yīng)用發(fā)現(xiàn)的能力。 (2)定義了互聯(lián)網(wǎng)應(yīng)用群體模型，提出面向有限網(wǎng)絡(luò)規(guī)模的互聯(lián)網(wǎng)應(yīng)

5、用群體發(fā)現(xiàn)和流量識別方法。 分析互聯(lián)網(wǎng)應(yīng)用的特性，定義互聯(lián)網(wǎng)中不同應(yīng)用行為的主機(jī)連接特征圖。結(jié)合社會群體概念和有限網(wǎng)絡(luò)范圍內(nèi)的行為主機(jī)之間聚集、共享和連接特征，研究基于行為特征圖的動態(tài)互聯(lián)網(wǎng)應(yīng)用群體生成和發(fā)現(xiàn)方法。從不同層次和位置收集具有不同方向?qū)傩缘墓?jié)點(diǎn)行為信息用于分析有限規(guī)模的網(wǎng)絡(luò)行為。借助宏觀的群體特征發(fā)現(xiàn)實施微觀粒度的流量識別、端口偽裝和跨協(xié)議傳輸行為發(fā)現(xiàn)。適于有限規(guī)模內(nèi)具有分布式和協(xié)同特征的應(yīng)用行為分析，不受易變易偽裝

6、特征的影響。 (3)提出了面向互聯(lián)網(wǎng)規(guī)模的自組織流量識別聯(lián)盟模型。 結(jié)合DHT(分布式哈希表)的優(yōu)點(diǎn)，研究利用虛擬存儲和相同前綴Hash技術(shù)實現(xiàn)索引資源本地存儲的方法，設(shè)計改進(jìn)的Chord覆蓋網(wǎng)絡(luò)路由算法，并基于此設(shè)計無中心的自組織互聯(lián)網(wǎng)流量識別和行為分析聯(lián)盟模型。具有本地流量識別和行為分析功能的節(jié)點(diǎn)在遵守聯(lián)盟協(xié)議的條件下可以加入聯(lián)盟，并在聯(lián)盟成員之間協(xié)助流量識別和行為分析，共享流量特征、數(shù)據(jù)樣本和識別經(jīng)驗?？朔藗鹘y(tǒng)方法只能在

7、有限組織機(jī)構(gòu)之間通過固定設(shè)備和協(xié)議的協(xié)助，可擴(kuò)展性差和開放性不足等缺點(diǎn)。 (4)提出并設(shè)計了一種獲取有分類“標(biāo)記”的真實網(wǎng)絡(luò)流量數(shù)據(jù)樣本的方法，結(jié)合網(wǎng)絡(luò)處理器實現(xiàn)了流量樣本采集平臺。 設(shè)計客戶端，利用靜態(tài)過濾監(jiān)測機(jī)制，采用Hook方式監(jiān)視本地應(yīng)用程序的網(wǎng)絡(luò)調(diào)用。根據(jù)發(fā)起網(wǎng)絡(luò)流量的應(yīng)用程序或進(jìn)程識別應(yīng)用，并把對應(yīng)程序分類信息標(biāo)簽嵌入相應(yīng)數(shù)據(jù)包的TOS標(biāo)志位，實現(xiàn)互聯(lián)網(wǎng)流量的真實分類“標(biāo)記”，同時具有流量分類驗證功能。在網(wǎng)關(guān)

8、出口利用網(wǎng)絡(luò)處理器的快速硬件匹配能力檢測數(shù)據(jù)包TOS標(biāo)志位，采集帶分類“標(biāo)記”的流量樣本，預(yù)處理后發(fā)布使用，實用有效。 (5)提出了一種基于機(jī)器學(xué)習(xí)的在線流量識別方法，并結(jié)合網(wǎng)絡(luò)處理器實現(xiàn)1000Mbps有限線速處理目標(biāo)。 研究互聯(lián)網(wǎng)流量的時序相關(guān)性特征，獲取行為節(jié)點(diǎn)之間的前序流量信息后進(jìn)行分類識別，隨后利用得到的前序流的識別結(jié)果指導(dǎo)后續(xù)流識別和分類，并隨時根據(jù)獲取流特征的變化進(jìn)行調(diào)整和修正。發(fā)揮IXP-2400網(wǎng)絡(luò)處理