版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、近些年云計算技術(shù)的應(yīng)用越來越廣泛。由于云計算技術(shù)在互聯(lián)網(wǎng)行業(yè)中的快速發(fā)展,數(shù)據(jù)的大小和復(fù)雜程度(大數(shù)據(jù))急劇增加,促使 MapReduce和分布式文件系統(tǒng),如 HDFS(Hadoop分布式文件系統(tǒng))成為分布式數(shù)據(jù)應(yīng)用程序的首選模式。云基礎(chǔ)設(shè)施的可擴(kuò)展性顯著提高了其適用性。Hadoop基于MapReduce計算框架,因而可以高效的處理大數(shù)據(jù)。它的解決方案已經(jīng)被廣泛應(yīng)用于大多數(shù)云供應(yīng)商。Hadoop集群調(diào)度是滿足性能要求的關(guān)鍵因素。Hado
2、op集群調(diào)度將任務(wù)分配到資源上。用可擴(kuò)展的方式分配越來越多的任務(wù)和資源是一個相當(dāng)大的挑戰(zhàn)。此外,Hadoop系統(tǒng)的異構(gòu)性會使挑戰(zhàn)的難度增加。
原始的Hadoop任務(wù)調(diào)度算法不能滿足異構(gòu)集群的性能要求。本文研究并分析了比較常用的Hadoop調(diào)度算法的性能。其中包括三種作業(yè)調(diào)度算法:FIFO算法,F(xiàn)airSharing算法,COSHC(Classification and Optimization based on Schedul
3、er for Heterogeneous Clusters)算法,以及一種任務(wù)調(diào)度算法:ATSDA(Adaptive Task Scheduling strategy based on Dynamic workload Adjustment)算法。FIFO算法是大多數(shù)Hadoop集群默認(rèn)的作業(yè)調(diào)度算法。它對作業(yè)隊列的分配基于作業(yè)到達(dá)系統(tǒng)的時間,而忽略系統(tǒng)中的任何異構(gòu)性。FairSharing算法用來補充FIFO算法在小作業(yè)和用戶的異構(gòu)性
4、處理中缺點的Hadoop集群調(diào)度算法。該調(diào)度算法定義了每個用戶的池,每個池由多個Map任務(wù)和Reduce任務(wù)的資源槽組成。COSHC算法是Hadoop調(diào)度算法考慮系統(tǒng)和用戶的異構(gòu)性做出的調(diào)度決策。通過使用該系統(tǒng)信息,COSHC將輸入作業(yè)分類,并基于作業(yè)類和資源的功能找到該作業(yè)匹配的資源。
在本篇論文中,我所設(shè)計的綜合調(diào)度優(yōu)化策略對Hadoop集群的作業(yè)調(diào)度和任務(wù)調(diào)度進(jìn)行優(yōu)化。一、綜合調(diào)度優(yōu)化策略在Hadoop集群作業(yè)調(diào)度中引入
5、混合調(diào)度方法。該方法根據(jù)傳入作業(yè)和可用資源的數(shù)量等信息,動態(tài)地選擇FIFO算法,F(xiàn)airSharing算法,COSHC算法中最合適的調(diào)度算法。二、綜合調(diào)度優(yōu)化策略在Hadoop集群任務(wù)調(diào)度中采用ATSDA調(diào)度算法。ATSDA算法為基于動態(tài)負(fù)載調(diào)整的自適應(yīng)任務(wù)調(diào)度算法。在ATSDA算法中,TaskTrackers能夠適應(yīng)運行時的負(fù)載變化和自己計算能力的要求獲得任務(wù),實現(xiàn)自律的同時避開了JobTracker系統(tǒng)性能瓶頸的主要原因:算法的復(fù)雜
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- hadoop集群作業(yè)的調(diào)度研究
- 針對Hadoop集群的節(jié)能調(diào)度算法研究.pdf
- 基于Hadoop集群的作業(yè)調(diào)度算法的研究.pdf
- 作業(yè)感知的Hadoop集群網(wǎng)絡(luò)調(diào)度方法研究.pdf
- Hadoop集群性能優(yōu)化研究.pdf
- 面向異構(gòu)集群的基于節(jié)點資源動態(tài)調(diào)整的Hadoop調(diào)度優(yōu)化研究.pdf
- 虛擬Hadoop集群動態(tài)資源調(diào)度策略研究.pdf
- Hadoop集群環(huán)境下調(diào)度算法的研究與改進(jìn).pdf
- Hadoop集群系統(tǒng)性能優(yōu)化的研究.pdf
- 基于Hadoop平臺的作業(yè)調(diào)度算法優(yōu)化研究.pdf
- Hadoop集群技術(shù)的優(yōu)化與應(yīng)用研究.pdf
- 基于Hadoop集群的節(jié)能優(yōu)化技術(shù)研究.pdf
- 風(fēng)電場集群優(yōu)化調(diào)度研究.pdf
- 基于調(diào)度器的Hadoop性能優(yōu)化方法研究.pdf
- Hadoop作業(yè)調(diào)度本地性的研究與優(yōu)化.pdf
- 基于Hadoop的車聯(lián)網(wǎng)作業(yè)調(diào)度優(yōu)化問題研究.pdf
- 基于Hadoop作業(yè)內(nèi)計算任務(wù)調(diào)度優(yōu)化的研究.pdf
- 集群環(huán)境下的文件調(diào)度優(yōu)化研究.pdf
- Hadoop任務(wù)調(diào)度算法本地性優(yōu)化研究.pdf
- 基于預(yù)測的Hadoop任務(wù)調(diào)度算法優(yōu)化.pdf
評論
0/150
提交評論