混合云環(huán)境下科學工作流數據布局研究.pdf

1、隨著互聯(lián)網和數據存儲技術的發(fā)展和普及，數據密集型應用已經廣泛的應用于天氣預報、天體物理、生物信息等科學計算領域。這種數據密集型應用程序處理的數據量十分巨大，通常達TB甚至PB級，并且應用程序數據之間都存在著一定的關聯(lián)關系，通過使用工作流技術，能夠實現讓各種具有復雜計算特性的任務自動化執(zhí)行，使用工作流技術的數據密集型應用又稱為科學工作流。云計算作為典型的應用分布式網絡的計算技術之一，能夠以相對便宜的軟硬件設施為科學工作流應用提供執(zhí)行所需的

2、存儲和計算資源，為其提供一種全新的廉價部署和執(zhí)行方案。將科學工作流應用部署在云計算環(huán)境中，一方面可以節(jié)約大量的執(zhí)行成本，同時也為分布在世界各地通過Internet相互協(xié)作的科研人員提供了一種資源共享與合作研究的平臺。
　　然而云計算系統(tǒng)在動態(tài)的為科學工作流應用提供其執(zhí)行所需的高性能計算資源和海量存儲空間的同時也給用戶的隱私保護與信息資產安全帶來非常大的沖擊與挑戰(zhàn)。Gartner在2012年關于云計算的調查結果表明，70％以上接受調

3、查的企業(yè)CTO認為近期不考慮應用云計算的主要原因為云計算存在數據安全性與隱私性的保護隱患。此外，數據是有重量的，當用戶將數據存在云計算服務商提供的遠程服務器中，數據就變得異常繁重而難以遷移，數據遷移成本比存儲數據成本昂貴的多。
　　為了適應企業(yè)的安全性和遷移需求，云計算演變?yōu)楣性?、私有云和混合云。公有云具備更好的擴展性和靈活性，適合部署開放性的應用程序;而私有云更加安全而且便于控制，適合部署關鍵數據和敏感數據?；旌显剖切碌脑朴嬎?/p>

4、架構，是公有云計算和私有云計算的混合，具備擴展性和安全性雙重特性的云計算模式?？梢愿鶕煌膽眯枨笠约俺杀炯s束的考慮，靈活的在公共云和私有云之間選擇或并用，來構建具有高可用性、動態(tài)擴展性、高安全性的計算中心和資源中心，形成混合云的應用模式。
　　公有云是一種將IT的相關資源以服務的方式提供給用戶使用，用戶通過付費按需獲取的計算模式。部署在混合云環(huán)境中的科學工作流應用，其執(zhí)行過程是混合云環(huán)境中公有云和私有云協(xié)作的過程，該過程中跨數

5、據中心數據移動難以避免，給部署在混合云環(huán)境中的科學工作流帶來了2個問題:(1)跨數據中心數據移動會產生很長的時間開銷;(2)跨數據中心數據移動會產生很高的傳輸費用。本文針對上述兩個問題分別提出了兩種不同的數據布局策略。
　　針對傳輸時間問題，傳統(tǒng)數據布局方法采用負載均衡劃分模型，劃分數據關聯(lián)矩陣，布局數據集。然而沒有考慮平衡負載引起的傳輸時間開銷。我們提出了一種新型的基于數據關聯(lián)破壞度的劃分模型，基于該模型提出了一種優(yōu)化傳輸時間的

6、數據布局方法，該方法包含2個算法:初始階段靜態(tài)布局算法和運行階段動態(tài)布局算法。實驗表明，本文算法能夠有效的降低科學工作流執(zhí)行時跨數據中心數據傳輸時間。
　　針對傳輸費用問題，目前學者通常是從單個數據密集型應用的角度研究降低數據傳輸費用。然而工作流系統(tǒng)一般都包含多個工作流，并且工作流相互之間共享數據。傳統(tǒng)單工作流數據布局優(yōu)化算法對多工作流優(yōu)化效果有限。我們將從全局的角度建立基于多科學工作流數據關聯(lián)圖的傳輸費用模型，研究基于二進制粒子

7、群算法BPSO(Binary Particle Swarm Optimization)的數據布局優(yōu)化策略，從而減少對云計算傳輸資源的使用費用。
　　本文通過對混合云計算模式進行模擬，建立混合云數據中心模擬環(huán)境，并對本文提出的兩種數據布局策略與其相似的數據布局策略分別在數據傳輸時間，數據傳輸費用等方面進行對比實驗。實驗結果顯示，與其同類的數據布局策略對比可以發(fā)現，本文所提出的兩種數據布局策略具有更好的綜合性能，不僅對混合云環(huán)境下科學