基于MongoDB的BESⅢ分布式計(jì)算記賬系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、北京譜儀Ⅲ(BESⅢ)高能物理實(shí)驗(yàn)每年產(chǎn)生PB量級(jí)的實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)人員需要對(duì)海量數(shù)據(jù)進(jìn)行處理和分析。為此，BESⅢ實(shí)驗(yàn)于2011年開始聯(lián)合多個(gè)合作單位構(gòu)建統(tǒng)一的分布式計(jì)算平臺(tái)，以應(yīng)對(duì)大數(shù)據(jù)量對(duì)存儲(chǔ)資源和計(jì)算資源提出的挑戰(zhàn)。對(duì)于大規(guī)模的網(wǎng)格系統(tǒng)，需要有效的記錄和分析資源的使用情況，提高資源使用效率。網(wǎng)格記賬系統(tǒng)是記錄網(wǎng)格環(huán)境下資源使用情況的系統(tǒng)，對(duì)于BESⅢ分布式計(jì)算平臺(tái)記賬系統(tǒng)來說，它的作用不僅僅是測(cè)量和記錄網(wǎng)格環(huán)境中各種操作的資源消耗

2、情況，還包括對(duì)這些信息進(jìn)行有效的分析和使用。本文主要對(duì)BESⅢ分布式計(jì)算平臺(tái)記賬系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行了研究。主要的研究內(nèi)容如下:
　　(1)對(duì)記賬系統(tǒng)的功能模塊設(shè)計(jì)進(jìn)行研究。在信息收集模塊的設(shè)計(jì)上，針對(duì)傳統(tǒng)的日志解析框架帶來的記賬延遲問題，提出了一種及時(shí)記賬框架，實(shí)現(xiàn)快速記賬;在存儲(chǔ)模塊的設(shè)計(jì)上，以MongoDB為基礎(chǔ)，反范式化數(shù)據(jù)建模，采用復(fù)合片鍵對(duì)數(shù)據(jù)進(jìn)行分片，提高系統(tǒng)可擴(kuò)展性，并通過副本集策略提高系統(tǒng)可用性。
　　(2

3、)對(duì)統(tǒng)計(jì)查詢的實(shí)時(shí)響應(yīng)問題進(jìn)行研究。對(duì)用戶查詢請(qǐng)求進(jìn)行了分析，提出了一種基于動(dòng)態(tài)時(shí)間窗口的數(shù)據(jù)壓縮算法。該算法可以根據(jù)數(shù)據(jù)存在時(shí)間的不同對(duì)數(shù)據(jù)進(jìn)行不同程度的壓縮預(yù)處理，在保留必要信息的基礎(chǔ)上，極大地壓縮了數(shù)據(jù)量并減小了計(jì)算量，使統(tǒng)計(jì)查詢的效率大大提升。
　　(3)對(duì)記賬系統(tǒng)進(jìn)行整體實(shí)現(xiàn)。搭建了MongoDB集群作為系統(tǒng)底層存儲(chǔ)平臺(tái);基于matplotlib設(shè)計(jì)實(shí)現(xiàn)了繪圖類，提高用戶查詢結(jié)果展示的豐富性?；趓unit機(jī)制實(shí)現(xiàn)了服務(wù)