面向自組織移動云的存儲架構(gòu)關(guān)鍵技術(shù)研究.pdf

1、隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興領(lǐng)域的蓬勃發(fā)展，人類社會正逐步從大數(shù)據(jù)時代向移動大數(shù)據(jù)時代演進(jìn)。據(jù)統(tǒng)計，全球移動手機(jī)占有率預(yù)計2020年達(dá)到28億，隨之產(chǎn)生的移動數(shù)據(jù)規(guī)模以每年53％的速度指數(shù)增長，移動數(shù)據(jù)在全球數(shù)據(jù)總量中所占比重逐年上升，將逐漸成為大數(shù)據(jù)的主體。為緩解快速增長的移動數(shù)據(jù)規(guī)模與有限的移動設(shè)備硬件資源之間的矛盾，業(yè)界近年開始研究如何將多臺移動設(shè)備隨時隨地自組織成為移動云，以實現(xiàn)端側(cè)處理海量移動數(shù)據(jù)的目標(biāo)，這一模式稱之為自組織移

2、動云(Ad-Hoc Mobile Cloud)。
　　數(shù)據(jù)的合理存儲和科學(xué)管理是保障自組織移動云QoS的基礎(chǔ)，遺憾的是，目前關(guān)于移動云存儲架構(gòu)的研究尚處于起步階段，相關(guān)工作主要基于傳統(tǒng)云存儲技術(shù)展開，無法充分利用移動端復(fù)雜的軟硬件環(huán)境特征。這些特征主要包括:(1)移動設(shè)備硬件環(huán)境與傳統(tǒng)服務(wù)器存在較大差異，例如閃存介質(zhì)對隨機(jī)讀寫的更好支持、無線通信帶寬遠(yuǎn)低于有線網(wǎng)絡(luò)等;(2)移動數(shù)據(jù)多呈結(jié)構(gòu)化或半結(jié)構(gòu)化，且具有離散分布(Scatte

3、ring)、規(guī)模效應(yīng)(Scale-effect)、高安全性(Security)的特點;(3)用戶需求發(fā)生了深刻變化，移動用戶對交互實時性提出了更高要求，且更加關(guān)注數(shù)據(jù)存儲的安全隱私。
　　本文深入分析了自組織移動云的場景特征，在此基礎(chǔ)上提出了更為“高效”和“安全”的存儲架構(gòu)。文章的主要工作和貢獻(xiàn)如下:
　　1.基于移動設(shè)備的Hadoop移植與配置優(yōu)化
　　做為研究工作的第一步，本文實現(xiàn)了基于移動設(shè)備的Hadoop框架移

4、植。部署過程中發(fā)現(xiàn)，移植到移動平臺的云框架表現(xiàn)出嚴(yán)重的水土不服，性能方面受到很大影響。為此，本文設(shè)計提出了一套面向Hadoop移植的優(yōu)化策略，通過神經(jīng)網(wǎng)絡(luò)技術(shù)挖掘配置參數(shù)與移動端軟硬件環(huán)境間的內(nèi)在關(guān)聯(lián)，有效提高了系統(tǒng)工作效率。本部分工作的意義在于:首先，發(fā)現(xiàn)并實踐了傳統(tǒng)云架構(gòu)到移動端的移植部署方法，為進(jìn)一步研究打下基礎(chǔ);其次，通過大量實驗，我們對移動端數(shù)據(jù)存儲的性能表現(xiàn)和瓶頸所在有了更深入的了解;最后，測試和分析結(jié)果證明，面對分布式移動

5、場景全新的硬件架構(gòu)和軟件環(huán)境，以Hadoop文件系統(tǒng)為代表的傳統(tǒng)云存儲架構(gòu)在設(shè)計上存在不足，無法實現(xiàn)移動云高效、安全存儲的目標(biāo)。
　　2.基于自組織移動集群的分布式鍵值存儲系統(tǒng)
　　移動數(shù)據(jù)往往呈結(jié)構(gòu)化、半結(jié)構(gòu)化特點，分布式文件系統(tǒng)架構(gòu)對此類數(shù)據(jù)的存儲管理仍有不足。本文在前一部分工作的基礎(chǔ)上，設(shè)計提出了面向自組織移動集群的輕量級分布式鍵值存儲系統(tǒng)LKSM。系統(tǒng)基于LSM-Tree索引結(jié)構(gòu)實現(xiàn)，并維護(hù)了全新的數(shù)據(jù)結(jié)構(gòu):彈性內(nèi)存

6、槽，在兩組件的緊密配合與協(xié)調(diào)工作下，LKSM有效緩解了閃存的寫敏感和I/O放大問題，同時大幅提高了數(shù)據(jù)存儲性能。實驗表明，相較LevelDB存儲架構(gòu)，LKSM在移動端具有更大優(yōu)勢(數(shù)據(jù)規(guī)模512MB時，讀、寫時間僅為LevelDB的30.12％和36.16％)。
　　3.基于屬性命名空間樹的數(shù)據(jù)存儲安全模型
　　以往研究工作主要關(guān)注存儲架構(gòu)的高效性，然而移動數(shù)據(jù)與個人隱私息息相關(guān)，因此用戶對自組織移動云提出了更高的安全性需求

7、。本文從用戶層、邏輯層、物理層三個層面剖析了分布式存儲架構(gòu)，發(fā)現(xiàn)了其中存在的安全隱患，進(jìn)而提出了一套基于屬性命名空間樹的數(shù)據(jù)存儲安全模型ANDS。通過引入命名空間屬性管理機(jī)制，ANDS以權(quán)限訪問控制和數(shù)據(jù)加密的方式實現(xiàn)了元數(shù)據(jù)與內(nèi)容數(shù)據(jù)的雙重防護(hù)。在此基礎(chǔ)上，本文提出了塊粒度的代理重加密策略，結(jié)合分布式存儲以塊為單位的特點，我們利用多設(shè)備同步重加密的方式有效緩解了安全保護(hù)帶來的性能開銷。
　　4.基于自相似原理的大規(guī)模邊緣設(shè)備負(fù)載

8、均衡策略
　　少數(shù)移動設(shè)備在局域網(wǎng)內(nèi)自行組建網(wǎng)絡(luò)是易于管理的，然而移動設(shè)備的持有量遠(yuǎn)超PC機(jī)，因此移動集群規(guī)模的增長潛力遠(yuǎn)大于傳統(tǒng)云平臺。隨著SDN和NFV等技術(shù)的發(fā)展，廣義的邊緣設(shè)備規(guī)模更為龐大。因此，如何有效管理大規(guī)模移動云集群成為了亟待解決的一項關(guān)鍵性問題。本文提出了基于自相似原理的負(fù)載均衡策略，并針對通信負(fù)載問題設(shè)計了任務(wù)分發(fā)算法Task Distributing和任務(wù)抓取算法Task Grasping，為大規(guī)模設(shè)備的資源