版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、Hadoop是Apache軟件基金會(huì)開發(fā)和推出的用于海量數(shù)據(jù)的存儲(chǔ)和計(jì)算的并行分布式MapReduce框架。Hadoop的運(yùn)行效率涉及到眾多因素,如集群系統(tǒng)配置,任務(wù)類型,任務(wù)調(diào)度,參數(shù)配置等。其中參數(shù)配置是很重要的一個(gè)因素,合理的參數(shù)配置能在很大程度上提升Hadoop的性能。
本文探討了國(guó)內(nèi)外Hadoop參數(shù)優(yōu)化的研究現(xiàn)狀,介紹了Hadoop的基本框架及運(yùn)行機(jī)制,總結(jié)了在現(xiàn)有的一些Hadoop的運(yùn)行參數(shù)進(jìn)行優(yōu)化方法的不足之處
2、。蠻力搜索方法和在這基礎(chǔ)建立模型進(jìn)行參數(shù)優(yōu)化的方法不能得到Hadoop性能變化的根本原因。Hadoop內(nèi)部函數(shù)調(diào)用信息的變化從一定程度上反映了Hadoop的性能變化的本質(zhì)。從這一點(diǎn)出發(fā),本文提出一種基于Hadoop函數(shù)調(diào)用監(jiān)控反饋的參數(shù)自動(dòng)優(yōu)化模型。這個(gè)自動(dòng)優(yōu)化模型通過實(shí)驗(yàn)提取任務(wù)特征,對(duì)任務(wù)進(jìn)行自動(dòng)優(yōu)化配置。如果模型的數(shù)據(jù)庫(kù)中無法直接得到任務(wù)最佳配置,則采用一種隨機(jī)抽樣算法對(duì)任務(wù)輸入進(jìn)行抽樣,提出一種基于函數(shù)調(diào)用反饋的啟發(fā)式參數(shù)優(yōu)化方
3、法,運(yùn)用這種方法進(jìn)行參數(shù)優(yōu)化實(shí)驗(yàn),分析參數(shù)改變時(shí)Hadoop的性能改變的根本原因,啟發(fā)式地得到相應(yīng)的優(yōu)化方案和最佳的參數(shù)組合。
為了實(shí)現(xiàn)對(duì)Hadoop內(nèi)部函數(shù)調(diào)用信息進(jìn)行監(jiān)控,本文從源代碼的角度出發(fā),深入分析了Hadoop任務(wù)運(yùn)行過程中的調(diào)用的部分函數(shù);并根據(jù)這些函數(shù)將Hadoop的任務(wù)運(yùn)行過程分成不同的運(yùn)行階段,分別對(duì)不同階段的函數(shù)調(diào)用信息進(jìn)行監(jiān)控;研究了面向切面編程技術(shù),實(shí)現(xiàn)了在不直接修改源代碼的情況下,對(duì)Hadoop內(nèi)部
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 集結(jié)除垢運(yùn)行參數(shù)優(yōu)化研究.pdf
- 基于性能預(yù)估的Hadoop參數(shù)自動(dòng)調(diào)優(yōu)系統(tǒng).pdf
- 供熱機(jī)組運(yùn)行參數(shù)優(yōu)化研究.pdf
- 凝汽式機(jī)組運(yùn)行參數(shù)優(yōu)化研究.pdf
- 海上集輸系統(tǒng)運(yùn)行參數(shù)優(yōu)化研究.pdf
- 人工濕地運(yùn)行參數(shù)優(yōu)化及凈化機(jī)理研究.pdf
- 大機(jī)組涉網(wǎng)運(yùn)行下的自動(dòng)裝置參數(shù)整定的優(yōu)化方法研究.pdf
- 新型節(jié)能冰箱運(yùn)行特性及參數(shù)優(yōu)化研究.pdf
- 糧食氣力清倉(cāng)機(jī)運(yùn)行參數(shù)優(yōu)化的研究.pdf
- 鈍化疏浚技術(shù)運(yùn)行參數(shù)選擇及其工藝優(yōu)化研究.pdf
- 聚丙烯壓縮機(jī)長(zhǎng)周期運(yùn)行參數(shù)優(yōu)化研究.pdf
- Hadoop集群性能優(yōu)化研究.pdf
- 自動(dòng)拋光技術(shù)及其工藝參數(shù)優(yōu)化研究.pdf
- Hadoop集群調(diào)度優(yōu)化的研究.pdf
- 某污水廠運(yùn)行數(shù)值模擬及運(yùn)行參數(shù)、工藝優(yōu)化.pdf
- 多端柔性直流系統(tǒng)運(yùn)行及控制參數(shù)優(yōu)化研究.pdf
- 基于數(shù)據(jù)挖掘的火電廠運(yùn)行參數(shù)優(yōu)化研究.pdf
- 寒冷地區(qū)改良A2-O工藝運(yùn)行參數(shù)優(yōu)化研究.pdf
- 基于自動(dòng)小車存取系統(tǒng)的運(yùn)行策略優(yōu)化研究.pdf
- 油氣回收系統(tǒng)模型建立與運(yùn)行參數(shù)優(yōu)化.pdf
評(píng)論
0/150
提交評(píng)論