

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、“大數(shù)據(jù)時(shí)代”的到來(lái),對(duì)數(shù)據(jù)處理技術(shù)提出了新的要求和挑戰(zhàn),各類大數(shù)據(jù)計(jì)算框架應(yīng)運(yùn)而生(如Hadoop、Storm等),成為人們處理各類大數(shù)據(jù)需求的利器。同時(shí),在大數(shù)據(jù)推動(dòng)下,云計(jì)算也迅速發(fā)展,人們可以按需從云中租用資源并按量計(jì)費(fèi)。在這兩方面技術(shù)的碰撞下,云環(huán)境下大數(shù)據(jù)服務(wù)的概念被提出,即BDaaS(BigData-as-a-Service),其理念是將大數(shù)據(jù)計(jì)算處理過(guò)程作為云中的服務(wù)向外提供,用戶只需專注大數(shù)據(jù)業(yè)務(wù)本身,而云會(huì)準(zhǔn)備好大數(shù)
2、據(jù)計(jì)算過(guò)程中的各種要素,其中著名的產(chǎn)品有:AWS EMR,Openstack Sahara等。
然而,人們?cè)趯?shí)踐BDaaS解決方案的過(guò)程中遇到許多困惑與局限,其中BDaaS的性能問(wèn)題就是主要的關(guān)注點(diǎn)之一,人們常發(fā)現(xiàn)自己構(gòu)建的BDaaS環(huán)境性能與預(yù)期相差甚遠(yuǎn),遠(yuǎn)不能滿足大數(shù)據(jù)業(yè)務(wù)的需求;而有時(shí),在物理環(huán)境中適用的優(yōu)化策略,在BDaaS中卻難以發(fā)揮作用。人們迫切尋求相關(guān)的指導(dǎo),而目前缺乏這方面系統(tǒng)的研究成果或方法。
針對(duì)
3、BDaaS性能問(wèn)題,本文在閱讀大量研究文獻(xiàn)和分析現(xiàn)有產(chǎn)品的基礎(chǔ)上,開(kāi)展了深入系統(tǒng)的研究,課題以O(shè)penstack、Hadoop、Sahara作為具體環(huán)境,采用從特殊到一般的方法進(jìn)行討論。包括三方面工作,首先,分析并定義BDaaS性能問(wèn)題,當(dāng)大數(shù)據(jù)計(jì)算轉(zhuǎn)移到云環(huán)境后,云環(huán)境中資源的管理與使用是主要影響因素之一,本文圍繞這一核心,結(jié)合云環(huán)境的資源特性和不同應(yīng)用場(chǎng)景,提出了基于MapReduce的BDaaS性能模型,借此可以更準(zhǔn)確定位性能的影
4、響因素,并指導(dǎo)優(yōu)化;其次,測(cè)試并提出BDaaS主要的性能影響因素,課題開(kāi)發(fā)一款自動(dòng)化測(cè)試工具Doopshot,可高效的進(jìn)行大量測(cè)試并收集數(shù)據(jù),在此基礎(chǔ)上,開(kāi)展了五方面測(cè)試,全面衡量BDaaS的性能,提出約10條影響因素;最后,在Sahara中設(shè)計(jì)并實(shí)踐具體優(yōu)化,總體涉及三個(gè)方面,分別是塊設(shè)備管理接口、虛擬化性能瓶頸、數(shù)據(jù)源使用策略,這些優(yōu)化策略的設(shè)計(jì)思路也可以應(yīng)用到其他BDaaS解決方案中。
最后,本文通過(guò)實(shí)驗(yàn)對(duì)優(yōu)化方案進(jìn)行了
5、驗(yàn)證,對(duì)比了傳統(tǒng)大數(shù)據(jù)處理方案、原Sahara和優(yōu)化方案共6種情形??傮w而言,優(yōu)化方案有顯著性能提升,相比于Sahara的默認(rèn)配置,新接口的配置在DFSIO中吞吐量提升了120%,使用緩存統(tǒng)一管理服務(wù)的設(shè)計(jì),利用Tachyon可在特定情形下達(dá)到13倍的吞吐量提升;Sort工作負(fù)載的執(zhí)行時(shí)間上,優(yōu)化方案相比于原Sahara普遍下降了約50%,而內(nèi)存利用率在我們的實(shí)驗(yàn)中從80%提高到了96%,不過(guò)在緩存隔離性等方面還有待改進(jìn)。結(jié)果基本符合預(yù)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- NAS設(shè)備文件數(shù)據(jù)服務(wù)性能的優(yōu)化研究.pdf
- 云環(huán)境下大數(shù)據(jù)處理平臺(tái)性能分析與優(yōu)化研究.pdf
- 大數(shù)據(jù)服務(wù)合同
- IaaS云的服務(wù)性能分析與優(yōu)化研究.pdf
- 大數(shù)據(jù)服務(wù)合同
- 大數(shù)據(jù)環(huán)境下Hadoop性能優(yōu)化的研究.pdf
- 多個(gè)云環(huán)境下大數(shù)據(jù)工作流性能優(yōu)化算法的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 云計(jì)算環(huán)境下Web服務(wù)性能保障技術(shù)研究.pdf
- 大數(shù)據(jù)服務(wù)模式和大數(shù)據(jù)用戶角色
- 大數(shù)據(jù)環(huán)境下Hadoop平臺(tái)性能優(yōu)化研究.pdf
- 云環(huán)境下大數(shù)據(jù)迭代計(jì)算研究.pdf
- 大數(shù)據(jù)環(huán)境下云會(huì)計(jì)的應(yīng)用研究
- 網(wǎng)格環(huán)境下數(shù)據(jù)庫(kù)系統(tǒng)的元數(shù)據(jù)服務(wù).pdf
- 云計(jì)算平臺(tái)中的服務(wù)性能監(jiān)控與分析系統(tǒng).pdf
- 移動(dòng)計(jì)算環(huán)境下的位置相關(guān)數(shù)據(jù)服務(wù)策略研究.pdf
- 面向云服務(wù)性能保障的服務(wù)組件性能預(yù)測(cè)方法研究.pdf
- 大數(shù)據(jù)與云環(huán)境下企業(yè)商業(yè)秘密保護(hù)研究.pdf
- [數(shù)據(jù),服務(wù)平臺(tái),倉(cāng)庫(kù)]大數(shù)據(jù)時(shí)代教育數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)服務(wù)平臺(tái)建設(shè)思路
- 云環(huán)境下健康大數(shù)據(jù)隱私保護(hù)技術(shù)的研究與實(shí)現(xiàn).pdf
- 測(cè)試數(shù)據(jù)服務(wù)平臺(tái)下的數(shù)據(jù)交換與管理.pdf
評(píng)論
0/150
提交評(píng)論