面向MapReduce的緩存感知調(diào)度平臺的設(shè)計與實現(xiàn).pdf

1、隨著數(shù)據(jù)爆炸時代的到來，如何高效地對TB級甚至是PB級的大規(guī)模數(shù)據(jù)進行處理是業(yè)界急需解決的問題。在應(yīng)用需求和技術(shù)推動下，云計算作為一種新的計算模式被提出來了，并逐步成為了IT界的主旋律，Hadoop分布式計算平臺是云計算的開源實現(xiàn)，Hadoop的主要組成部分是HDFS（Hadoop分布式文件系統(tǒng)）和MapReduce計算模型，MapReduce分布式計算框架作為云計算中處理大規(guī)模數(shù)據(jù)的利器而被各大企業(yè)廣泛應(yīng)用。然而，在實際應(yīng)用中，Map

2、Reduce還有很多有待完善的地方，尤其是在調(diào)度機制方面，包括任務(wù)分配不均等方面，同時原有的調(diào)度處理方式造成的資源和流量的浪費。
　　本論文主要通過對IBM公司的Platform MapReduce在做迭代運算的時候重復地從文件系統(tǒng)中調(diào)用相同的數(shù)據(jù)造成資源的浪費和效率低的問題，通過追蹤客戶報告，進行分析，提出了解決方案，提出功能需求包括分裂緩存需求和緩存感知調(diào)度需求，提出包括提高K-means算法效率的性能需求。這個解決方案，通過

3、對HDFS和Map任務(wù)中間的數(shù)據(jù)的調(diào)用和存儲進行優(yōu)化，將作業(yè)間的相同數(shù)據(jù)存儲在緩存中，管理緩存信息，并且將這些緩存信息通知給主管理節(jié)點。減少了從HDFS文件系統(tǒng)調(diào)用數(shù)據(jù)，減少了對本地磁盤空間的占用，減少作業(yè)運行時間，解決了海量數(shù)據(jù)在做分析時的資源浪費和效率低的問題。
　　本論文主要包括分裂緩存和緩存感知調(diào)度兩個子系統(tǒng)的設(shè)計和實現(xiàn)。分裂緩存子系統(tǒng)的設(shè)計主要包括分裂緩存的狀態(tài)判斷模塊設(shè)計，分裂緩存的注冊模塊設(shè)計，分裂緩存過期信息管理模

4、塊設(shè)計等實現(xiàn)了避免從HDFS文件系統(tǒng)中調(diào)用相同數(shù)據(jù)，并且將這部分數(shù)據(jù)存儲在內(nèi)存緩存中，對緩存中的分裂緩存信息進行管理。緩存感知調(diào)度子系統(tǒng)的設(shè)計主要包括SSM（Session Management,服務(wù)會話管理）與MRSS（MapReduce Shuttle Server,MapReduce的洗牌服務(wù)）連接模塊設(shè)計，MRSS存儲更新模塊設(shè)計，SSM存儲更新模塊設(shè)計，SSM調(diào)度模塊設(shè)計和連接可靠性模塊設(shè)計等實現(xiàn)在集群操作環(huán)境中，主管理節(jié)點可

5、以獲知計算節(jié)點的分裂緩存信息，得到有分裂緩存信息的機器列表，進而當Map作業(yè)到來時合理地調(diào)度資源，實現(xiàn)資源的使用優(yōu)化和提高處理數(shù)據(jù)的效率。
　　本論文進行了系統(tǒng)測試，開啟分裂緩存與緩存感知調(diào)度的功能時，迭代運算的大規(guī)模數(shù)據(jù)作業(yè)的運行速度有明顯的提高，作業(yè)運行所用的時間大幅減少。另外，對Hadoop的性能進行了測試，相對于標準的Hadoop，集群的性能提高了33％左右，并且提高了K-means算法的效率。通過了測試，并且滿足了需求。