云存儲系統(tǒng)中數(shù)據(jù)冗余存儲策略的研究.pdf

1、云計算是一種具有高適應(yīng)性的分布式計算。它的主要目的是將海量數(shù)據(jù)的計算任務(wù)拆分成多個規(guī)模較小的子任務(wù)，通過深度定制的網(wǎng)絡(luò)控制，將子任務(wù)交付于服務(wù)器集群進行實際運算，最終通過網(wǎng)絡(luò)傳輸將計算結(jié)果返回給用戶。云計算在發(fā)展中融合了虛擬化、負載均衡、網(wǎng)絡(luò)存儲、軟件定義網(wǎng)絡(luò)等技術(shù)，從而能夠?qū)⒂脩魧Ａ繑?shù)據(jù)的計算和處理高效交付至大規(guī)模數(shù)據(jù)中心，實現(xiàn)了軟硬件資源的高效整合和集中管理。
　　云存儲是伴隨著云計算概念的發(fā)展而產(chǎn)生的。它需要支撐起云計算龐

2、大的數(shù)據(jù)存儲總量，并提供高可靠性高可用性的存儲服務(wù)。Hadoop是一個由Apache基金組支持與維護的開源云計算項目。在眾多的云計算框架中，由于Hadoop在不斷發(fā)展下所展示的高擴展性、高可靠性和高可用性，逐漸成為了一種重要而突出的云計算框架。Hadoop的底層分布式文件系統(tǒng)（HDFS，Hadoop Distributed File System）則因Hadoop取得的成功，成為了云存儲研究中的一個顯著熱點。
　　本文針對于HDF

3、S中的冗余數(shù)據(jù)存儲方案，分析了其數(shù)據(jù)流中存在的兩個主要問題：數(shù)據(jù)傾斜和隨機訪問。數(shù)據(jù)傾斜會使得靜態(tài)數(shù)據(jù)冗余方案性能下降并造成存儲資源浪費。而隨機訪問的發(fā)生則會顯著地影響數(shù)據(jù)冗余方案的性能。在對這兩大問題的深入探究后，本文提出了新的數(shù)據(jù)存儲方案動態(tài)冗余異構(gòu)存儲系統(tǒng)（DHS，Dynamic Heterogeneous Storage system）。DHS在設(shè)計上，一方面結(jié)合了兩種不同的主流數(shù)據(jù)冗余技術(shù)，另一方面引入了混合存儲架構(gòu)。本文工作

4、的創(chuàng)新性體現(xiàn)在以下三個方面：首先同現(xiàn)有的存儲改進方案不同，DHS根據(jù)歷史訪問記錄提出了訪問負載的概念并通過統(tǒng)計分析進行預(yù)測；其次DHS采用了全新的反饋存儲調(diào)節(jié)機制，適應(yīng)訪問需求制定存儲方案；最后DHS詳盡考量了普通磁盤上的訪問流，制定了混合存儲以及競爭緩解機制，提升磁盤組整體性能。DHS能夠在保證原始HDFS方案數(shù)據(jù)的高可靠性的前提下，改善其存儲的服務(wù)性能，在整體上節(jié)約存儲開銷，從而提供高性價比的數(shù)據(jù)存儲方案。本文將在對HDFS的深入剖