Hadoop平臺(tái)下基于遺傳算法的作業(yè)調(diào)度研究.pdf

1、近幾年來(lái)，隨著云計(jì)算技術(shù)的不斷發(fā)展，學(xué)術(shù)界和工業(yè)界都開(kāi)始深入云計(jì)算技術(shù)的分析和研究，以更好的應(yīng)對(duì)大數(shù)據(jù)時(shí)代的到來(lái)。Apache的Hadoop作為開(kāi)源的云計(jì)算平臺(tái)受到了廣泛的關(guān)注。然而，云計(jì)算服務(wù)提供商也面臨著隨著數(shù)據(jù)量的增加所產(chǎn)生的越來(lái)越大、越來(lái)越復(fù)雜的數(shù)據(jù)處理的問(wèn)題。尤其是面對(duì)著大量的用戶提交的各種類型的數(shù)據(jù)處理任務(wù)，怎樣高效地對(duì)這些任務(wù)進(jìn)行處理是一個(gè)難題，用現(xiàn)有的Hadoop平臺(tái)來(lái)解決這個(gè)難題正變得越來(lái)越困難。
　　本文通過(guò)深

2、入分析后發(fā)現(xiàn)，傳統(tǒng)的作業(yè)調(diào)度方法嚴(yán)格遵照先來(lái)先服務(wù)的原則，導(dǎo)致后到達(dá)的的小任務(wù)（占用資源較少）由于等待前面到達(dá)的大任務(wù)（占用資源較多），導(dǎo)致完成時(shí)間時(shí)延過(guò)長(zhǎng)。然而在一般情況下，小任務(wù)對(duì)響應(yīng)時(shí)間較為敏感，大任務(wù)次之。因此，這種方法嚴(yán)重影響了用戶體驗(yàn)。
　　本文把該問(wèn)題轉(zhuǎn)化為一個(gè)組合優(yōu)化問(wèn)題，綜合考慮資源的高效利用以及兼顧先來(lái)先服務(wù)兩個(gè)因素。本文試圖采用適當(dāng)?shù)恼{(diào)度策略讓小任務(wù)得到快速響應(yīng)，而不是嚴(yán)格的按照先來(lái)先服務(wù)的策略。在充分研究和

3、比較不同的任務(wù)調(diào)度規(guī)劃策略后，本文將該任務(wù)調(diào)度問(wèn)題模型化為一個(gè)背包問(wèn)題，該問(wèn)題屬于一個(gè)復(fù)雜的組合優(yōu)化問(wèn)題，屬于NP問(wèn)題難度。對(duì)于這一類問(wèn)題，遺傳算法具有尋找最優(yōu)解的獨(dú)特優(yōu)勢(shì)，因此本文設(shè)計(jì)了一個(gè)采用遺傳算法進(jìn)行Hadoop任務(wù)調(diào)度分配的新型調(diào)度器，該調(diào)度器同時(shí)兼顧資源的高效利用和先來(lái)先服務(wù)公平原則，以犧牲個(gè)體的公平性來(lái)保證整體的公平性。論文在Hadoop平臺(tái)上對(duì)新調(diào)度器進(jìn)行實(shí)驗(yàn)驗(yàn)證，和現(xiàn)有計(jì)算能力調(diào)度器做對(duì)比實(shí)驗(yàn)，通過(guò)使用系統(tǒng)資源的實(shí)時(shí)監(jiān)