面向海量數(shù)據(jù)的流式計算模型設計及應用.pdf

1、云計算、移動互聯(lián)網(wǎng)和社交網(wǎng)絡等新興信息技術和應用模式的迅速普及，致使全世界數(shù)據(jù)量劇增，推進人類社會進入海量數(shù)據(jù)時代。如何從這些海量數(shù)據(jù)中提取出有價值的信息，為大數(shù)據(jù)的計算帶來前所未有的挑戰(zhàn)和機遇。同時，數(shù)據(jù)的價值通常隨著時間的流逝而降低，所以事件出現(xiàn)后必須盡快地對它們進行處理，而不是緩存起來成一批處理。例如比如股票交易的數(shù)據(jù)等，數(shù)據(jù)實時性強，數(shù)據(jù)量大，沒有止境，傳統(tǒng)的批量計算模式已不再適用。為了應對海量數(shù)據(jù)實時計算的要求，流式計算模式被

2、提出。所謂流式計算是指將數(shù)據(jù)看作數(shù)據(jù)流的形式來處理。在流數(shù)據(jù)不斷變化的過程中實時地進行分析，捕捉到可能對有價值的信息，并把結果發(fā)送出去。
　　本文以流式計算在實踐中的應用、優(yōu)化為核心，首先系統(tǒng)地梳理和分析了當前流式計算系統(tǒng)的研究和發(fā)展現(xiàn)狀。然后結合流式大數(shù)據(jù)所呈現(xiàn)出的實時性、突發(fā)性等特征，分析了現(xiàn)有流式計算系統(tǒng)在應對數(shù)據(jù)突發(fā)性等方面的局限性。即由于現(xiàn)有的流式計算模型采用拓撲結構加靜態(tài)指定路由的策略，當流式數(shù)據(jù)的產(chǎn)生量突增時，通常無

3、法動態(tài)的進行節(jié)點擴展，會造成消息積壓和處理延遲，從而丟失流式處理模型實時性的本質。在此基礎之上，本文構建了一種具備高動態(tài)伸縮性和計算可靠性的流式計算模型，這種模型放棄了在啟動時固定節(jié)點個數(shù)以及節(jié)點之間路由關系的靜態(tài)路由策略，轉而采用路由信息分組和按組編號獲取路由信息的動態(tài)路由策略。對于該策略，可以通過提供的接口自由的對分組路由信息進行增加和修改，極大的提高了系統(tǒng)的熱伸縮性，從而實現(xiàn)了應對流式數(shù)據(jù)的突發(fā)的特性。另外，通過對消息的執(zhí)行路徑進

4、行跟蹤，本文設計的模型實現(xiàn)了消息級別的可靠性，當消息因為節(jié)點發(fā)生故障丟失時，會觸發(fā)消息源的重傳機制，從而避免消息的丟失。同時通過采用類似XOR方式的跟蹤策略，跟蹤每個消息的內存消耗被限制為固定的大小，進而極大的節(jié)省了跟蹤花銷。最后結合實際應用——廢棄話單處理系統(tǒng)，給出了這種模型的實現(xiàn)和應用。本文開發(fā)的廢棄話單處理系統(tǒng)有效的實現(xiàn)了對移動廢棄話單的異常監(jiān)控、定位與及時告知，進而有效的減少了移動的計費損失，并且通過實際應用數(shù)據(jù)驗證了本文提出的