分布式存儲系統(tǒng)中異步編碼的動態(tài)條帶構建.pdf

1、為了在保證數(shù)據(jù)訪問性能的同時降低系統(tǒng)的冗余存儲開銷，分布式存儲系統(tǒng)通常會采用異步編碼技術。在新數(shù)據(jù)被寫入時，系統(tǒng)使用多副本機制對這些數(shù)據(jù)進行存儲，并在數(shù)據(jù)訪問變少后，在后臺將這些數(shù)據(jù)轉化為糾刪碼方式存儲。由于分布式系統(tǒng)通常采用隨機分布的數(shù)據(jù)塊放置方法，邏輯地址連續(xù)的數(shù)據(jù)塊通常會分散在系統(tǒng)的所有節(jié)點中。因此在執(zhí)行編碼操作時，編碼進程需要通過跨機架下載來獲取數(shù)據(jù)塊。而在編碼完成后，又需要跨機架的數(shù)據(jù)塊重新分布來保證數(shù)據(jù)的可靠性。這種方法即降

2、低了異步編碼操作的執(zhí)行效率，也影響了系統(tǒng)中前臺任務進程的性能。
　　為了提高異步編碼的執(zhí)行效率并降低其對前臺任務性能的影響，本文提出了一種新型的編碼條帶構建方式，我們稱之為動態(tài)條帶構建技術(DynamicStripeConstruction，DSC)。DSC根據(jù)當前系統(tǒng)中數(shù)據(jù)塊的放置信息來組建編碼條帶。放入同一編碼條帶中的數(shù)據(jù)塊需要滿足以下兩種性質(zhì):(1)這些數(shù)據(jù)塊存在副本存儲于同一機架中，以保證在編碼時不會引起跨機架的數(shù)據(jù)塊下載

3、;(2)這些數(shù)據(jù)塊存在副本分散在其他獨立的機架中，以保證編碼完成后不會引起跨機架的數(shù)據(jù)塊重新分布。為了在龐大的選擇空間中有效地組建編碼條帶，我們設計了一種管理數(shù)據(jù)塊放置信息的數(shù)據(jù)結構，并基于這一數(shù)據(jù)結構提出了一種線性時間復雜度的動態(tài)條帶構建算法。該算法可以以熱插拔的方式應用于使用任何數(shù)據(jù)放置方式與糾刪碼配置的分布式集群。為了驗證動態(tài)條帶構建技術的有效性，我們將DSC實現(xiàn)在HDFS系統(tǒng)上。在真實集群的測試實驗中，DSC可以顯著的提高異步編

4、碼的執(zhí)行效率（實驗中最高改進可達81％），并降低其對前臺任務進程的影響。
　　在系統(tǒng)集成的過程中，我們首先探討了異步編碼中節(jié)點上數(shù)據(jù)局部性與負載均衡的問題，隨后設計了文件間編碼與迭代編碼技術來優(yōu)化異步編碼在小文件與追加文件場景下的應用。為了適應分布式集群中不斷變化的數(shù)據(jù)訪問負載，我們還提出了一種將動態(tài)副本與糾刪碼結合的新型數(shù)據(jù)塊管理架構。這種架構模式使得我們可以對系統(tǒng)中的數(shù)據(jù)塊進行動態(tài)的管理，以在提高數(shù)據(jù)可靠性與訪問性能的同時最小