云計(jì)算環(huán)境下的計(jì)算模型性能優(yōu)化研究.pdf

1、云計(jì)算給信息技術(shù)行業(yè)帶來了一場(chǎng)新的革命。支撐云計(jì)算的關(guān)鍵技術(shù)包括虛擬化技術(shù)、分布式文件系統(tǒng)、并行計(jì)算技術(shù)和非關(guān)系型數(shù)據(jù)庫技術(shù)等。Hadoop是一個(gè)集各種云計(jì)算技術(shù)于一體的綜合開源云計(jì)算平臺(tái),主要由HDFS文件系統(tǒng)和MapReduce計(jì)算模型組成。
　　Hadoop能夠利用多臺(tái)機(jī)器組成的集群對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算,具有可擴(kuò)展性、容錯(cuò)性和高效性等特點(diǎn)。其中HDFS文件系統(tǒng)和MapReduce編程模型的思想都來源于Google。目前H

2、adoop處于不斷成熟的階段。對(duì)于Hadoop系統(tǒng)的實(shí)現(xiàn)框架,許多科研人員對(duì)其進(jìn)行了分析并提出了多種改進(jìn)措施。除了架構(gòu)外,Hadoop的配置對(duì)于系統(tǒng)的性能來說也至關(guān)重要。本文主要研究提高Hadoop系統(tǒng)性能的配置優(yōu)化方法。
　　Hadoop通過配置來對(duì)整個(gè)系統(tǒng)進(jìn)行管理。Hadoop的配置優(yōu)化問題是一個(gè)復(fù)雜的組合優(yōu)化問題。各屬性問存在依賴和制約關(guān)系,設(shè)置不合理會(huì)導(dǎo)致資源競(jìng)爭(zhēng),系統(tǒng)的整體性能降低。智能算法能夠解決組合優(yōu)化問題。以智能算

3、法為基礎(chǔ),首先提出適用于特定應(yīng)用的配置優(yōu)化策略。然后考慮云計(jì)算平臺(tái)的實(shí)際使用情況,提出一種多應(yīng)用環(huán)境下的系統(tǒng)配置優(yōu)化模型。
　　對(duì)于具體應(yīng)用,基于遺傳模擬退火算法,將每種配置方案作為染色體,多次選擇、交叉、變異,并結(jié)合模擬退火原理,控制新染色體的存活和整個(gè)算法的迭代次數(shù),尋找出最優(yōu)的系統(tǒng)配置方案。實(shí)驗(yàn)結(jié)果表明該方法能有效提高作業(yè)的運(yùn)行效率,并且迭代結(jié)束時(shí)群體的整體效果都非常好。
　　對(duì)于具體應(yīng)用,基于混沌粒子群算法,將每種配

4、置方案作為粒子的位置,通過粒子的不斷運(yùn)動(dòng)來尋找最優(yōu)配置。為使算法既能進(jìn)行全局搜索和局部搜索,同時(shí)又能避免過早陷入局部最優(yōu),采用基本粒子群算法和權(quán)重系數(shù)改進(jìn)、最大速度改進(jìn)、混沌算法相結(jié)合的處理方法。實(shí)驗(yàn)結(jié)果表明該方法也能明顯提高系統(tǒng)的效率,得出的最優(yōu)配置具有穩(wěn)定性,并且該方法實(shí)現(xiàn)簡(jiǎn)單,迭代次數(shù)少。
　　對(duì)于實(shí)際運(yùn)行的整個(gè)系統(tǒng),需要處理各種類型的作業(yè),因此考慮多種應(yīng)用,提出一種自適應(yīng)的系統(tǒng)配置優(yōu)化方法。這種方法根據(jù)云計(jì)算平臺(tái)的作業(yè)特點(diǎn)