流量數(shù)據(jù)時間機系統(tǒng)的改進研究.pdf

1、流量數(shù)據(jù)是對網(wǎng)絡規(guī)劃、網(wǎng)絡管理、網(wǎng)絡安全、新網(wǎng)絡協(xié)議等研究工作的重要基礎。隨著網(wǎng)絡的不斷發(fā)展，規(guī)模不斷擴大，網(wǎng)絡數(shù)據(jù)流量急劇增加，高速網(wǎng)絡越來越普遍。低速網(wǎng)絡環(huán)境下使用一般的工具就能記錄所有流量數(shù)據(jù)，再簡單過濾掉無用的數(shù)據(jù)就可以減少要存儲的數(shù)據(jù)量。但是，在高速網(wǎng)絡環(huán)境下，大量記錄數(shù)據(jù)和簡單過濾都變得不太可能。所以，設計針對高速網(wǎng)絡海量數(shù)據(jù)的實時存儲與查詢系統(tǒng)已經(jīng)成為當前網(wǎng)絡測量領域越來越重要的挑戰(zhàn)。
　　 流量數(shù)據(jù)時間機(Tim

2、e Machine)系統(tǒng)是由Stefan Kornexl和他的同伴在2005年設計提出的一種基于動態(tài)過濾方案和緩沖存儲裝置的系統(tǒng)。該系統(tǒng)針對高速網(wǎng)絡，其設計目的主要有兩個：大量記錄高通信流量并保存一段時間和讓使用者能方便快速的查找所需要的歷史數(shù)據(jù)。到目前為止，時間機系統(tǒng)是對高速網(wǎng)絡環(huán)境下的海量數(shù)據(jù)實時存儲性能最好的系統(tǒng)。
　　 本文對時間機系統(tǒng)的反饋數(shù)據(jù)的特征字符串匹配以及系統(tǒng)的數(shù)據(jù)存儲兩部分進行了有效的改進。首先，為了能在高速

3、網(wǎng)絡環(huán)境下有效的進行實時數(shù)據(jù)監(jiān)測或內(nèi)容審計，提出Sunday字符串匹配算法的改進版本RoSunday算法，用于對系統(tǒng)反饋回的包數(shù)據(jù)進行特征字符串的匹配，以加快查詢匹配的速度，提高數(shù)據(jù)檢測的效率。同時，為了在不影響數(shù)據(jù)查詢速度的前提下提高時間機系統(tǒng)的空間利用率，給每個數(shù)據(jù)包建立了查詢-分類兩級索引，并選出一種相對較優(yōu)的無損壓縮算法用于對數(shù)據(jù)包存儲前的壓縮。這樣，使用者只需要在索引文件中查詢所需數(shù)據(jù)的相應查詢索引項，由于數(shù)據(jù)包在壓縮的同時，