基于計(jì)算特性的Spark內(nèi)存自適應(yīng)管理策略研究.pdf

1、伴隨著信息時(shí)代到來的是海量的數(shù)據(jù)信息，在被稱為“大數(shù)據(jù)”時(shí)代的21世紀(jì)，大數(shù)據(jù)的處理成為了這個(gè)時(shí)代的難題。目前，分布式計(jì)算機(jī)技術(shù)是處理大數(shù)據(jù)的主流方式，通過建立分布式集群，能讓分布式系統(tǒng)獲得堪比超級計(jì)算機(jī)的運(yùn)算能力，而且分布式系統(tǒng)的計(jì)算和存儲(chǔ)能力還會(huì)隨著集群的擴(kuò)展而不斷提升。但是，內(nèi)存容量不足一直是制約分布式系統(tǒng)性能的一大因素，但隨著內(nèi)存制造工藝的發(fā)展提高，一種新型的基于內(nèi)存計(jì)算技術(shù)的分布式框架——Spark，應(yīng)運(yùn)而生。Spark在處理

2、迭代式機(jī)器學(xué)習(xí)運(yùn)算和交互式實(shí)時(shí)查詢操作時(shí)，所獲得的性能遠(yuǎn)超其他分布式框架。然而，內(nèi)存容量始終要比數(shù)據(jù)的規(guī)模小得多，在內(nèi)存不足時(shí)，Spark會(huì)遭遇到性能瓶頸。
　　如何高效地使用內(nèi)存，成為了提升Spark系統(tǒng)性能的關(guān)鍵問題。為了解決這個(gè)難題，本課題設(shè)計(jì)了一種自適應(yīng)的內(nèi)存調(diào)優(yōu)策略。這種自適應(yīng)調(diào)優(yōu)策略主要分為三個(gè)部分：首先，是針對數(shù)據(jù)序列化算法的自適應(yīng)優(yōu)化策略。數(shù)據(jù)序列化是分布式系統(tǒng)中常用的優(yōu)化方式，與系統(tǒng)性能的優(yōu)劣密切相關(guān)。序列化方法

3、在節(jié)省存儲(chǔ)空間的同時(shí)，還能減輕系統(tǒng)垃圾回收的壓力。同時(shí)，數(shù)據(jù)要在分布式集群各個(gè)節(jié)點(diǎn)間傳輸，也必須要進(jìn)行序列化操作。序列化自適應(yīng)策略通過當(dāng)前系統(tǒng)的資源消耗情況，來選擇合適的序列化算法。其次，是數(shù)據(jù)壓縮算法的的自適應(yīng)優(yōu)化策略。壓縮算法可將數(shù)據(jù)壓縮至原來的幾分之一，甚至十幾分之一，相比于序列化方法，更能節(jié)省系統(tǒng)存儲(chǔ)空間。但是，每種不同的壓縮算法之間，也是存在差異的。自適應(yīng)算法會(huì)根據(jù)系統(tǒng)情況選擇合適的壓縮算法。最后，是垃圾回收的自適應(yīng)優(yōu)化策略。

4、對于運(yùn)行在JVM虛擬機(jī)上的Spark分布式框架來說，JVM的性能優(yōu)劣直接關(guān)系到了整個(gè)系統(tǒng)的性能好壞。自適應(yīng)算法通過收集和分析系統(tǒng)當(dāng)前系統(tǒng)信息，進(jìn)行垃圾回收的調(diào)優(yōu)。
　　在設(shè)計(jì)部分，通過對Spark源代碼的添加和修改，本課題在原生的Spark系統(tǒng)上實(shí)現(xiàn)了SATS（Spark Adaptive Tuning Strategy）子系統(tǒng)，系統(tǒng)分為三個(gè)模塊：運(yùn)行時(shí)數(shù)據(jù)收集模塊、自適應(yīng)決策模塊和參數(shù)優(yōu)化模塊。實(shí)現(xiàn)部分對著三個(gè)模塊的實(shí)現(xiàn)細(xì)節(jié)進(jìn)行