IDC網(wǎng)站分析系統(tǒng)存儲(chǔ)處理的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大和WWW業(yè)務(wù)的飛速發(fā)展，互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)的用戶越來越關(guān)注托管服務(wù)器的安全以及IDC網(wǎng)絡(luò)的性能，在這種需求下，運(yùn)營(yíng)商迫切需要一套能夠監(jiān)測(cè)、分析WEB服務(wù)器運(yùn)行狀態(tài)的網(wǎng)站監(jiān)測(cè)分析系統(tǒng)。此外，監(jiān)控WEB服務(wù)器的狀態(tài)，進(jìn)而研究用戶的訪問特征，也是整個(gè)網(wǎng)絡(luò)行為研究、服務(wù)規(guī)劃和網(wǎng)絡(luò)優(yōu)化的基礎(chǔ)。
　　 本文在研究IDC運(yùn)營(yíng)支撐需求的基礎(chǔ)上，針對(duì)海量數(shù)據(jù)存儲(chǔ)問題，分析研究了現(xiàn)有的存儲(chǔ)數(shù)據(jù)庫，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于L

2、inux平臺(tái)的網(wǎng)站服務(wù)器監(jiān)測(cè)和分析系統(tǒng)。論文主要工作如下：
　　 ①系統(tǒng)框架的設(shè)計(jì)
　　 在分析當(dāng)前互聯(lián)網(wǎng)發(fā)展以及IDC運(yùn)營(yíng)支撐需求的基礎(chǔ)上，給出了系統(tǒng)的總體結(jié)構(gòu)和各子系統(tǒng)的設(shè)計(jì)。系統(tǒng)整體分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和上層管理四個(gè)子系統(tǒng)。
　　 ②給出數(shù)據(jù)存儲(chǔ)子系統(tǒng)的詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)
　　 為滿足數(shù)據(jù)的快速檢索和長(zhǎng)期海量數(shù)據(jù)存儲(chǔ)，本系統(tǒng)設(shè)計(jì)了三種類型表：統(tǒng)計(jì)表、粒度表和輔助表。利用Berkeley DB

3、存儲(chǔ)基礎(chǔ)數(shù)據(jù)，MySQL存儲(chǔ)查詢數(shù)據(jù)，配合處理子系統(tǒng)中的方法實(shí)現(xiàn)了海量數(shù)據(jù)的快速存儲(chǔ)和查詢。
　　 ③給出數(shù)據(jù)處理子系統(tǒng)的詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)
　　 該部分由五個(gè)功能模塊組成：數(shù)據(jù)通信模塊、數(shù)據(jù)緩存模塊、用戶過濾模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)庫寫入模塊。數(shù)據(jù)通信模塊利用多線程和網(wǎng)絡(luò)編程解決數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)采集子系統(tǒng)間的數(shù)據(jù)交互問題；用戶過濾模塊利用哈希算法實(shí)現(xiàn)了大量數(shù)據(jù)的過濾；數(shù)據(jù)處理模塊利用哈希和小頂堆的數(shù)據(jù)結(jié)構(gòu)和算法，對(duì)數(shù)