基于DStream模型的流處理系統(tǒng)動(dòng)態(tài)配置研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，各領(lǐng)域產(chǎn)生的信息呈現(xiàn)出幾何式爆炸增長(zhǎng)的趨勢(shì)，其中有些高速的海量數(shù)據(jù)需要被實(shí)時(shí)處理。在這種背景下，流處理系統(tǒng)應(yīng)運(yùn)而生。大部分流處理系統(tǒng)采用的是連續(xù)處理模型，盡管連續(xù)處理模型可以取得較好的計(jì)算時(shí)延，但在復(fù)雜的網(wǎng)絡(luò)和集群環(huán)境中，這種較小粒度的處理模型往往缺少比較有效的容錯(cuò)機(jī)制。DStream不同于連續(xù)處理模型，它通過(guò)將流數(shù)據(jù)轉(zhuǎn)化成一個(gè)個(gè)微批次數(shù)據(jù)，使得該模型可以以較大粒度對(duì)數(shù)據(jù)進(jìn)行處理，此外將其與批處理、機(jī)器學(xué)習(xí)和圖處理

2、等技術(shù)結(jié)合后則可以應(yīng)對(duì)更為豐富的業(yè)務(wù)需求，因此相比較傳統(tǒng)流數(shù)據(jù)處理模型而言，DStream模型具有更強(qiáng)的容錯(cuò)性和擴(kuò)展性。
　　Spark Streaming系統(tǒng)是基于Dstream模型實(shí)現(xiàn)的一個(gè)通用流計(jì)算框架，它給予了用戶很大的個(gè)性化自定義的空間。目前，越來(lái)越多的用戶開(kāi)始選擇使用SparkStreaming系統(tǒng)作為流數(shù)據(jù)處理工具。對(duì)系統(tǒng)進(jìn)行合理配置可以使得系統(tǒng)獲取較為良好的運(yùn)行效率，然而人工配置系統(tǒng)不僅在系統(tǒng)配置上往往不能達(dá)到最優(yōu)

3、，而且參數(shù)配置無(wú)法做到根據(jù)實(shí)際的運(yùn)行環(huán)境進(jìn)行自適應(yīng)調(diào)整，因此，如何在基于DStream模型的流處理系統(tǒng)Spark Streaming上實(shí)現(xiàn)動(dòng)態(tài)配置和管理成為一個(gè)重要的研究熱點(diǎn)。
　　針對(duì)上述問(wèn)題，本文從基于DStream模型的流處理系統(tǒng)的動(dòng)態(tài)配置和管理方面展開(kāi)研究，力求尋找一種優(yōu)化配置方案使得系統(tǒng)經(jīng)過(guò)動(dòng)態(tài)配置后不僅可以取得較強(qiáng)的性能，而且可以根據(jù)系統(tǒng)的運(yùn)行環(huán)境進(jìn)行自適應(yīng)調(diào)整?；贒Stream模型的流處理系統(tǒng)Spark Strea

4、ming分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)接收、數(shù)據(jù)處理三個(gè)階段，本文將針對(duì)這三個(gè)階段分別提出對(duì)應(yīng)的動(dòng)態(tài)配置策略，以實(shí)現(xiàn)基于DStream流處理系統(tǒng)的全過(guò)程動(dòng)態(tài)配置，而且針對(duì)集群環(huán)境變化進(jìn)行自適應(yīng)調(diào)整和管理。
　　1.數(shù)據(jù)準(zhǔn)備階段:Spark Streaming批處理時(shí)間間隔的配置對(duì)端到端時(shí)延和系統(tǒng)穩(wěn)定性具有重要影響，因此針對(duì)批處理時(shí)間間隔的動(dòng)態(tài)配置問(wèn)題，本文提出了一種基于迭代思想的時(shí)間間隔劃分方法。首先，根據(jù)批次間隔和處理時(shí)延關(guān)系，制定A，B，

5、C三級(jí)調(diào)整策略，迅速找到最佳的批次間隔大小;然后以相鄰兩個(gè)批次為依據(jù)，采用Aitken迭代法對(duì)批處理時(shí)間間隔進(jìn)行快速自適應(yīng)調(diào)整。通過(guò)實(shí)驗(yàn)證明該方法有效減少了端對(duì)端延時(shí)，加快了迭代調(diào)整的速率，具有較好的穩(wěn)定性;
　　2.數(shù)據(jù)接收階段:不合理的接收器并行度配置將增加處理時(shí)延或降低系統(tǒng)吞吐量，而分配不合理則將引起負(fù)載傾斜。針對(duì)接收器并行度配置問(wèn)題，通過(guò)分析處理時(shí)延、外部數(shù)據(jù)流速、吞吐量等因素對(duì)接收器并行度的影響，提出基于模擬退火算法的動(dòng)

6、態(tài)配置算法LDSA，利用該算法找到最優(yōu)的接收器并行度。針對(duì)接收器分配問(wèn)題，改進(jìn)了原來(lái)分配策略，提出了對(duì)接收器先進(jìn)行輪詢分配再進(jìn)行加權(quán)輪詢的方式，避免了資源盲目分配和負(fù)載傾斜。通過(guò)實(shí)驗(yàn)證明該算法有較高的準(zhǔn)確率和較快的執(zhí)行速率。
　　3.數(shù)據(jù)處理階段:合理的緩存配置策略會(huì)影響流數(shù)據(jù)的處理性能。本文針對(duì)實(shí)時(shí)資源提出了基于DAG圖的BSP算法，實(shí)現(xiàn)了對(duì)DStream的自動(dòng)化緩存配置;并對(duì)DStream價(jià)值進(jìn)行分析，提出了基于DStream

7、價(jià)值的緩存替代算法，提高了緩存空間的利用率。針對(duì)歷史數(shù)據(jù)緩存的處理，將歷史數(shù)據(jù)分為近期數(shù)據(jù)和遠(yuǎn)期數(shù)據(jù)，采用抽樣的思想對(duì)近期數(shù)據(jù)進(jìn)行緩存決策，對(duì)遠(yuǎn)期數(shù)據(jù)只記錄統(tǒng)計(jì)信息進(jìn)一步壓縮數(shù)據(jù)存儲(chǔ)。經(jīng)實(shí)驗(yàn)分析該算法任務(wù)執(zhí)行具有較高的執(zhí)行效率。
　　通過(guò)對(duì)上述三個(gè)方面進(jìn)行研究，本文提出了一種基于DStreams模型的流處理系統(tǒng)的動(dòng)態(tài)自適應(yīng)配置和調(diào)整機(jī)制，通過(guò)該機(jī)制，實(shí)現(xiàn)了Spark Streaming系統(tǒng)在數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)接收和數(shù)據(jù)處理三個(gè)階段的自