HDFS數(shù)據(jù)副本隨需調(diào)整及其放置策略研究.pdf

1、信息技術(shù)的持續(xù)快速發(fā)展帶來了對數(shù)據(jù)存儲及作用在數(shù)據(jù)集上計算的空前要求，科研機構(gòu)、政府以及企業(yè)都面臨著海量數(shù)據(jù)存儲成本高、數(shù)據(jù)管理困難、計算復(fù)雜度高、容錯率低等難題。為了解決這些問題，云存儲應(yīng)運而生。云存儲正是一個以數(shù)據(jù)為主要資源，為云計算提供底層數(shù)據(jù)存儲的系統(tǒng)，它將網(wǎng)絡(luò)上分散的、異構(gòu)的、獨立的、海量的存儲系統(tǒng)組織成一個可靠的、安全的邏輯意義上的整體，進行統(tǒng)一的管理，從而為用戶提供高效的、高可靠的、透明的服務(wù)。
　　 云存儲系統(tǒng)中

2、的數(shù)據(jù)副本技術(shù)是必不可少的數(shù)據(jù)管理技術(shù)。本文基于HDFS云存儲集群，主要研究的數(shù)據(jù)副本技術(shù)包括:數(shù)據(jù)塊大小的確定、數(shù)據(jù)副本創(chuàng)建條件、數(shù)據(jù)副本創(chuàng)建個數(shù)、數(shù)據(jù)副本刪除條件以及確定數(shù)據(jù)副本放置位置。
　　 針對以上所需要研究的內(nèi)容，文章做了以下幾方面的工作:首先，建立文件數(shù)據(jù)塊大小動態(tài)調(diào)整模型、數(shù)據(jù)副本創(chuàng)建模型及刪除模型;其次，建立數(shù)據(jù)副本放置的默認(rèn)模型與動態(tài)模型，提出了層次化的機架節(jié)點選擇算法和數(shù)據(jù)節(jié)點選擇算法（該模型中，數(shù)據(jù)副本個

3、數(shù)可以按照需要動態(tài)調(diào)整）。其中，數(shù)據(jù)塊大小確定策略的優(yōu)劣將直接影響到Map/Reduce任務(wù)數(shù)的分配、文件數(shù)據(jù)塊的管理以及網(wǎng)絡(luò)系統(tǒng)的性能，因此必須結(jié)合環(huán)境特點與用戶需求于一體為文件數(shù)據(jù)分塊;在決定了合適的塊大小后，則需要結(jié)合云存儲系統(tǒng)的特點與用戶需求將文件數(shù)據(jù)寫入集群;同時，云存儲集群系統(tǒng)還需要解決副本冗余度的問題，即應(yīng)該為一個文件數(shù)據(jù)塊創(chuàng)建多少個副本的問題;基于數(shù)據(jù)副本創(chuàng)建條件，必須解決冗余副本的刪除問題，以提高集群系統(tǒng)服務(wù)效能;在放