MapReduce與量子進(jìn)化算法的研究及應(yīng)用.pdf

1、21世紀(jì)是一個(gè)信息化的時(shí)代，信息以及數(shù)據(jù)快速增長(zhǎng)，這對(duì)計(jì)算能力提出了更高的要求，云計(jì)算在此環(huán)境下應(yīng)運(yùn)而生，它帶來(lái)了新的變革。云計(jì)算是一種商業(yè)計(jì)算模型，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算是分布式計(jì)算、網(wǎng)格計(jì)算和并行計(jì)算的進(jìn)一步發(fā)展，提供了一種更為有效的并行模型，因此如何將現(xiàn)有的并行算法應(yīng)用于云計(jì)算中成為研究的主要內(nèi)容。
　　 編寫云平臺(tái)下的并行化程序不同于以

2、往單機(jī)環(huán)境下的并行程序，以往的并行化實(shí)現(xiàn)主要是基于多線程，且局限于單機(jī)內(nèi)。而云計(jì)算環(huán)境下的并行化注重多機(jī)間，甚至是機(jī)器集群間的并行化，而且云環(huán)境的搭建都是基于普通的計(jì)算機(jī)。它主要是將大任務(wù)劃分為多個(gè)小任務(wù)，然后分配給計(jì)算機(jī)集群來(lái)執(zhí)行的，這大大降低了成本。數(shù)據(jù)挖掘領(lǐng)域常常受到海量數(shù)據(jù)的困擾，如果將云計(jì)算引入數(shù)據(jù)挖掘領(lǐng)域，必然會(huì)帶來(lái)一場(chǎng)新的變革。MapReduce模型是谷歌在2004年提出的，是其開發(fā)的在超大集群下進(jìn)行海量數(shù)據(jù)計(jì)算的一種編程

3、模式，主要被用來(lái)處理信息量大且需要在可接受時(shí)間內(nèi)完成的任務(wù)。目前MapReduce模型已被用來(lái)解決數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)中的一些問(wèn)題了。
　　 量子進(jìn)化算法近年來(lái)也開始受到廣大研究者的關(guān)注，量子進(jìn)化算法具有天然的并行性，非常適合在大規(guī)模并行平臺(tái)上實(shí)現(xiàn)，而云平臺(tái)為量子進(jìn)化算法并行性的實(shí)現(xiàn)奠定了物質(zhì)基礎(chǔ)。覆蓋算法是由張鈴教授提出的可以解決數(shù)據(jù)挖掘中分類問(wèn)題的算法，它是一種構(gòu)造性的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，采用的是M-P神經(jīng)元的幾何意義。覆蓋算法

4、實(shí)質(zhì)上是將求出的覆蓋領(lǐng)域作為三層神經(jīng)網(wǎng)絡(luò)的隱含層，輸入層看做測(cè)試集，輸出層看做測(cè)試集的分類結(jié)果。目前覆蓋算法已得到了廣泛的推廣。
　　 本文利用量子進(jìn)化算法的天然并行性及云平臺(tái)的優(yōu)越性，在云平臺(tái)上實(shí)現(xiàn)了量子進(jìn)化算法，結(jié)果顯示，在云平臺(tái)下該算法可以達(dá)到更好的并行效率。為了進(jìn)一步研究量子進(jìn)化算法的性能，本文結(jié)合量子進(jìn)化算法種群規(guī)模小，收斂速度快，全局尋優(yōu)性能強(qiáng)等特點(diǎn)，將其用于覆蓋算法，優(yōu)化覆蓋中心，采用適應(yīng)度來(lái)評(píng)價(jià)解的優(yōu)劣，提出了一