云環(huán)境下支持彈性伸縮的流計(jì)算研究與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)越來(lái)越多，其新增速率也快來(lái)越快，為了應(yīng)對(duì)這個(gè)問(wèn)題，越來(lái)越多的流計(jì)算系統(tǒng)被推出。它接受數(shù)據(jù)的實(shí)時(shí)輸入，然后以比較低的延遲處理數(shù)據(jù)并輸出，在金融、互聯(lián)網(wǎng)等對(duì)實(shí)時(shí)性要求比較高的領(lǐng)域得到了廣泛的應(yīng)用。雖然流計(jì)算系統(tǒng)能夠以近乎實(shí)時(shí)的效率處理大量數(shù)據(jù)，但它卻忽視了大數(shù)據(jù)的另一個(gè)重要特征——變化大，該特征包含很多方面的含義，其中本論文關(guān)注的重點(diǎn)是速率的變化大。速率變化大造成的后果就是流計(jì)算系統(tǒng)的負(fù)載時(shí)高時(shí)低，甚至?xí)谒俾?/p>

2、超出預(yù)期太多的情況下，造成系統(tǒng)的崩潰。
　　為了解決上述問(wèn)題，想到讓流計(jì)算系統(tǒng)具有彈性伸縮的能力。不過(guò)傳統(tǒng)的彈性計(jì)算大都是站在云的角度來(lái)考慮問(wèn)題的，在他們的假設(shè)中，運(yùn)行在云上的系統(tǒng)都是分布式的，且都可以很容易地被擴(kuò)展。在Web服務(wù)器領(lǐng)域，這個(gè)假設(shè)可以認(rèn)為是成立的，然而大部分情況下，它并不是完全正確的，特別是在分布式系統(tǒng)中，機(jī)器的伸縮會(huì)涉及到很多問(wèn)題。當(dāng)然也有一些研究是針對(duì)具體的流計(jì)算系統(tǒng)的，但他們大多只會(huì)根據(jù)系統(tǒng)的狀態(tài)而不考慮集群

3、的狀態(tài)來(lái)決定是否伸縮系統(tǒng)，此外，這些研究也沒(méi)有涉及到完整的伸縮以及調(diào)度過(guò)程，只關(guān)注于其中的一部分，如伸縮算法，可伸縮框架等。
　　針對(duì)這些問(wèn)題，本文提出了一個(gè)基于云的可彈性伸縮的流計(jì)算解決方案，并基于Storm實(shí)現(xiàn)了一個(gè)彈性流計(jì)算系統(tǒng)RubberStream。它通過(guò)對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控，能夠迅速發(fā)現(xiàn)各組件的負(fù)載異常，并及時(shí)對(duì)它們的并行度進(jìn)行適當(dāng)調(diào)整，同時(shí)它還能夠結(jié)合集群中的服務(wù)器狀態(tài)，自動(dòng)對(duì)集群的規(guī)模進(jìn)行伸縮。在伸縮時(shí)，RubberS

4、tream可以根據(jù)云服務(wù)提供商的價(jià)格自動(dòng)選擇水平伸縮或垂直伸縮。此外，RubberStream還支持不同配置機(jī)器間的負(fù)載均衡調(diào)度，以解決垂直伸縮帶來(lái)的機(jī)器異構(gòu)性問(wèn)題。
　　在文章的最后，本論文在真實(shí)的商用云平臺(tái)阿里云上對(duì)RubberStream的功能以及性能進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，RubberStream不僅能夠在適當(dāng)時(shí)候正確地調(diào)整組件的并行度以及集群規(guī)模，而且能夠在有效地減少資源消耗的前提下，提供與靜態(tài)大規(guī)模Storm集群相當(dāng)