基于Hadoop的網(wǎng)絡(luò)流量分流并行化設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)流量分類對(duì)網(wǎng)絡(luò)管理、安全預(yù)測(cè)和流量工程等方面的研究提供了重要的技術(shù)支持。隨著互聯(lián)網(wǎng)中應(yīng)用種類不斷出新和形態(tài)快速變化，研究網(wǎng)絡(luò)分類的意義逐步體現(xiàn)出來(lái)。流量分流是網(wǎng)絡(luò)流量分類中基礎(chǔ)的步驟之一，然而網(wǎng)絡(luò)流量分流因?yàn)楹臅r(shí)太長(zhǎng)已經(jīng)成為網(wǎng)絡(luò)流量分類的技術(shù)瓶頸。
　　 云計(jì)算透明的、簡(jiǎn)單的編程模型在服務(wù)開發(fā)和部署方面為我們提供了新的思維方式。其中Apache公司提出的Hadoop平臺(tái)是開源的云計(jì)算平臺(tái)，是當(dāng)前應(yīng)用最為廣泛的云計(jì)算平臺(tái)。它使

2、用Java編程語(yǔ)言實(shí)現(xiàn)了MapReduce編程模型和分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)。MapReduce模型不僅是一種簡(jiǎn)單的并行計(jì)算模型，為實(shí)現(xiàn)大規(guī)模計(jì)算的自動(dòng)并發(fā)和分布式執(zhí)行提供了可能，而且還是優(yōu)秀的調(diào)度模型。HDFS分布式文件系統(tǒng)是以塊序列形式進(jìn)行文件存儲(chǔ)，并通過復(fù)制塊的方式來(lái)保證高可靠性。
　　 本文在分析了網(wǎng)絡(luò)流量中網(wǎng)絡(luò)流的特點(diǎn)之后，研究了基于MapReduce模型的網(wǎng)絡(luò)流

3、量分流并行處理的關(guān)鍵技術(shù)，并且給出了一個(gè)基于Hadoop平臺(tái)的網(wǎng)絡(luò)流量分流并行處理的設(shè)計(jì)和實(shí)現(xiàn)方案。首先介紹了網(wǎng)絡(luò)流量分類的體系結(jié)構(gòu)和網(wǎng)絡(luò)流的概念以及如何進(jìn)行分流。然后進(jìn)行分流并行的可行性分析，提出在Linux環(huán)境下搭建Hadoop平臺(tái)提取網(wǎng)絡(luò)流量中數(shù)據(jù)包的特征，并根據(jù)規(guī)約條件將數(shù)據(jù)包歸并為一個(gè)完整的數(shù)據(jù)流。最后在Linux環(huán)境下實(shí)現(xiàn)了本系統(tǒng)，利用該系統(tǒng)對(duì)捕獲到的內(nèi)蒙古大學(xué)校園網(wǎng)絡(luò)流量進(jìn)行分流，并進(jìn)行了實(shí)驗(yàn)和驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，對(duì)于大數(shù)