云環(huán)境下大數(shù)據(jù)服務(wù)性能的測(cè)試與優(yōu)化.pdf

1、“大數(shù)據(jù)時(shí)代”的到來(lái)，對(duì)數(shù)據(jù)處理技術(shù)提出了新的要求和挑戰(zhàn)，各類大數(shù)據(jù)計(jì)算框架應(yīng)運(yùn)而生（如Hadoop、Storm等），成為人們處理各類大數(shù)據(jù)需求的利器。同時(shí)，在大數(shù)據(jù)推動(dòng)下，云計(jì)算也迅速發(fā)展，人們可以按需從云中租用資源并按量計(jì)費(fèi)。在這兩方面技術(shù)的碰撞下，云環(huán)境下大數(shù)據(jù)服務(wù)的概念被提出，即BDaaS（BigData-as-a-Service），其理念是將大數(shù)據(jù)計(jì)算處理過(guò)程作為云中的服務(wù)向外提供，用戶只需專注大數(shù)據(jù)業(yè)務(wù)本身，而云會(huì)準(zhǔn)備好大數(shù)

2、據(jù)計(jì)算過(guò)程中的各種要素，其中著名的產(chǎn)品有：AWS EMR，Openstack Sahara等。
　　然而，人們?cè)趯?shí)踐BDaaS解決方案的過(guò)程中遇到許多困惑與局限，其中BDaaS的性能問(wèn)題就是主要的關(guān)注點(diǎn)之一，人們常發(fā)現(xiàn)自己構(gòu)建的BDaaS環(huán)境性能與預(yù)期相差甚遠(yuǎn)，遠(yuǎn)不能滿足大數(shù)據(jù)業(yè)務(wù)的需求；而有時(shí)，在物理環(huán)境中適用的優(yōu)化策略，在BDaaS中卻難以發(fā)揮作用。人們迫切尋求相關(guān)的指導(dǎo)，而目前缺乏這方面系統(tǒng)的研究成果或方法。
　　針對(duì)

3、BDaaS性能問(wèn)題，本文在閱讀大量研究文獻(xiàn)和分析現(xiàn)有產(chǎn)品的基礎(chǔ)上，開展了深入系統(tǒng)的研究，課題以O(shè)penstack、Hadoop、Sahara作為具體環(huán)境，采用從特殊到一般的方法進(jìn)行討論。包括三方面工作，首先，分析并定義BDaaS性能問(wèn)題，當(dāng)大數(shù)據(jù)計(jì)算轉(zhuǎn)移到云環(huán)境后，云環(huán)境中資源的管理與使用是主要影響因素之一，本文圍繞這一核心，結(jié)合云環(huán)境的資源特性和不同應(yīng)用場(chǎng)景，提出了基于MapReduce的BDaaS性能模型，借此可以更準(zhǔn)確定位性能的影

4、響因素，并指導(dǎo)優(yōu)化；其次，測(cè)試并提出BDaaS主要的性能影響因素，課題開發(fā)一款自動(dòng)化測(cè)試工具Doopshot，可高效的進(jìn)行大量測(cè)試并收集數(shù)據(jù)，在此基礎(chǔ)上，開展了五方面測(cè)試，全面衡量BDaaS的性能，提出約10條影響因素；最后，在Sahara中設(shè)計(jì)并實(shí)踐具體優(yōu)化，總體涉及三個(gè)方面，分別是塊設(shè)備管理接口、虛擬化性能瓶頸、數(shù)據(jù)源使用策略，這些優(yōu)化策略的設(shè)計(jì)思路也可以應(yīng)用到其他BDaaS解決方案中。
　　最后，本文通過(guò)實(shí)驗(yàn)對(duì)優(yōu)化方案進(jìn)行了

5、驗(yàn)證，對(duì)比了傳統(tǒng)大數(shù)據(jù)處理方案、原Sahara和優(yōu)化方案共6種情形。總體而言，優(yōu)化方案有顯著性能提升，相比于Sahara的默認(rèn)配置，新接口的配置在DFSIO中吞吐量提升了120%,使用緩存統(tǒng)一管理服務(wù)的設(shè)計(jì)，利用Tachyon可在特定情形下達(dá)到13倍的吞吐量提升；Sort工作負(fù)載的執(zhí)行時(shí)間上，優(yōu)化方案相比于原Sahara普遍下降了約50%，而內(nèi)存利用率在我們的實(shí)驗(yàn)中從80%提高到了96%，不過(guò)在緩存隔離性等方面還有待改進(jìn)。結(jié)果基本符合預(yù)