基于Docker的資源預(yù)調(diào)度策略構(gòu)建彈性集群的研究.pdf

1、在實(shí)際環(huán)境中，服務(wù)器會(huì)經(jīng)常出現(xiàn)不可預(yù)知的負(fù)載需求，特別是像天貓雙11等活動(dòng)每年都在刷新交易記錄，大量的訂單交易背后是突增的巨大用戶訪問(wèn)量，此時(shí)需要快速增加集群中服務(wù)器的數(shù)量來(lái)應(yīng)對(duì)額外負(fù)載，同時(shí)在流量下降時(shí)，需要停止空閑服務(wù)器以降低成本。因此構(gòu)建彈性集群，實(shí)現(xiàn)集群服務(wù)器數(shù)量的自動(dòng)伸縮顯得尤為重要。
　　彈性伸縮是云計(jì)算中的一個(gè)重要功能，而虛擬化技術(shù)是支撐云計(jì)算的重要技術(shù)基石，虛擬化的程度不同決定了云平臺(tái)的架構(gòu)，Docker容器技術(shù)作

2、為操作系統(tǒng)級(jí)的虛擬化為云平臺(tái)的架構(gòu)提出了新思路，它是基于進(jìn)程級(jí)隔離的，相較于目前大多數(shù)基于虛擬機(jī)技術(shù)的云平臺(tái)而言，移除了客戶操作系統(tǒng)層，能夠提供更快的啟停速度和更優(yōu)的資源利用率。
　　本文研究使用Docker容器技術(shù)作為底層云平臺(tái)虛擬化技術(shù)，通過(guò)對(duì)集群性能的實(shí)時(shí)監(jiān)控及資源的合理調(diào)度，構(gòu)建彈性集群，應(yīng)對(duì)不可預(yù)知的負(fù)載需求，保證云服務(wù)平臺(tái)低成本、高效、穩(wěn)定的運(yùn)營(yíng)，大大提高云平臺(tái)的資源利用率，更加有效的應(yīng)對(duì)網(wǎng)絡(luò)峰值，提供高吞吐率和低延遲

3、的服務(wù)。
　　為此，本文實(shí)現(xiàn)了以下內(nèi)容:(1)解決構(gòu)建容器集群的兩個(gè)主要問(wèn)題:跨主機(jī)容器通信和文件共享。針對(duì)前者提出了三種解決方案:OVS+GRE、Flannel、直接路由，針對(duì)后者提出了構(gòu)建鏡像倉(cāng)庫(kù)解決鏡像共享問(wèn)題，結(jié)合DRBD構(gòu)建多節(jié)點(diǎn)NFS網(wǎng)絡(luò)文件系統(tǒng)解決數(shù)據(jù)持久化存儲(chǔ)問(wèn)題，為彈性集群提供實(shí)踐環(huán)境。(2)實(shí)現(xiàn)了Docker彈性集群性能監(jiān)控。基于OpenTSDB和Docker容器技術(shù)實(shí)現(xiàn)了對(duì)容器及集群節(jié)點(diǎn)的性能數(shù)據(jù)的采集、存儲(chǔ)

4、、分組聚合及展示，也為構(gòu)建彈性集群中彈性伸縮組的觸發(fā)機(jī)制提供了判定條件。(3)構(gòu)建彈性伸縮組。使用Haproxy提供負(fù)載均衡服務(wù)、Consul提供彈性伸縮組的服務(wù)自動(dòng)發(fā)現(xiàn)機(jī)制、Confd定期獲取Consul中的服務(wù)信息并動(dòng)態(tài)生成Haproxy配置文件。(4)研究并實(shí)現(xiàn)了多種資源調(diào)度策略。首先是構(gòu)建彈性集群過(guò)程中的基于資源使用量的資源調(diào)度策略，然后為解決集群資源使用量不均勻問(wèn)題實(shí)現(xiàn)了宿主機(jī)調(diào)度策略，最后實(shí)現(xiàn)了基于LMS算法的負(fù)載預(yù)測(cè)調(diào)度策