基于存儲區(qū)域網(wǎng)絡的數(shù)據(jù)可靠性技術研究.pdf

1、全球經(jīng)濟正經(jīng)歷著一場深刻的大變革，這場變革的關鍵就在于信息的應用。信息正成為最具有活力、最重要的生產(chǎn)要素之一。信息量的激增同時也增加了信息資源管理的難度，給信息的存儲和處理帶來了巨大的挑戰(zhàn)，。存儲管理技術的研究得到了普遍的關注，并逐漸成為研究熱點。存儲硬件技術的發(fā)展，使海量數(shù)據(jù)存儲成為可能，也為存儲管理技術的發(fā)展提供了機遇。借助于存儲區(qū)域網(wǎng)絡(StorageAreaNetwork,SAN)，人均可管理數(shù)據(jù)量大大超過直接相連存儲系統(tǒng)(Di

2、rectAttachStorage,DAS)。存儲區(qū)域網(wǎng)絡的出現(xiàn)，改變了存儲系統(tǒng)的管理方式，數(shù)據(jù)由分散存儲到集中存儲。在存儲能力大幅度提高的同時，數(shù)據(jù)管理的工作量和復雜度也不斷增加，而原有存儲管理技術制約著人均可管理數(shù)據(jù)量的進一步提高。多項調查表明，存儲管理技術是限制存儲容量進一步發(fā)展的瓶頸。存儲管理一方面要提高存儲資源的利用效率，另一方面要提高人的管理效率，需要將管理員從繁雜的重復勞動中解放出來，提高存儲管理軟件的智能程度，使其成為存

3、儲管理工作的主體。存儲系統(tǒng)的自動化管理的研究目標就是提高存儲管理系統(tǒng)的智能程度，減少人為干預，降低存儲管理工作的難度和強度。 另一方面，數(shù)據(jù)激增帶給企業(yè)巨大財富的同時，數(shù)據(jù)的價值已經(jīng)遠遠超過了計算機系統(tǒng)本身的價值，意外的停機或數(shù)據(jù)損壞會給企業(yè)帶來巨大的損失。數(shù)據(jù)災難造成的經(jīng)濟損失遠遠大于計算機系統(tǒng)本身故障造成的損失。從911事件之類的恐怖襲擊，到停電、硬盤故障等意外事件都會導致數(shù)據(jù)丟失。為了避免數(shù)據(jù)損失，已經(jīng)實現(xiàn)了各種不同的高可

4、靠性技術，包括冗余磁盤陣列(RedundentArrayofIncxpcnsivcDisks,RAID)，復制技術等。用戶在選擇存儲系統(tǒng)時，可靠性也正日益成為一個重要的指標。但是目前的數(shù)據(jù)高可靠性研究還存在以下幾個問題：(1)缺乏數(shù)據(jù)可靠性的準確定義。目前研究存儲系統(tǒng)可靠性主要著眼于存儲系統(tǒng)中的磁盤陣列或存儲子系統(tǒng)的可靠性，而不是其上保存數(shù)據(jù)的可靠性。海量數(shù)據(jù)存儲管理中，同一磁盤陣列上的數(shù)據(jù)可能具有不同的可靠性要求，其次，使用不同的備份

5、周期和參數(shù)，不同的數(shù)據(jù)也確實具有不同的可靠性。(2)缺乏統(tǒng)一的可靠性度量標準，尤其是衡量組合容災方案的方法。各個廠商為用戶提供了多種多樣的備份技術，并提供了這些方案的設置和使用方法，但是如何評價組合方案的效果仍存在巨大的空白。不同方案涉及到的技術和參數(shù)各不相同，也和用戶的需求表示方式存在有巨大的差異，急需適用于用戶和業(yè)界的統(tǒng)一的可靠性度量標準。(3)缺乏智能化的管理系統(tǒng)。備份和恢復是數(shù)據(jù)管理員最繁重的工作，而且單調乏味，適合計算機來進行

6、管理。定義好恢復規(guī)則后，在監(jiān)測到故障發(fā)生后，自治系統(tǒng)自動恢復數(shù)據(jù)可以加快數(shù)據(jù)恢復速度。 本文對基于存儲區(qū)域網(wǎng)絡的數(shù)據(jù)可靠性的管理問題進行了研究，提出了數(shù)據(jù)可靠性的定義，包括數(shù)據(jù)可靠性的分析框架及分析方法，海量數(shù)據(jù)的備份和恢復算法；在此基礎上實現(xiàn)了高可靠性存儲系統(tǒng)的自動設計與自治管理。其目的是通過解決存儲服務中數(shù)據(jù)可靠性相關的幾個關鍵技術問題，創(chuàng)建一個集成的存儲可靠性自治管理系統(tǒng)，試圖為存儲管理系統(tǒng)的設計建立理論基礎，為基于存儲網(wǎng)

7、絡的大規(guī)模存儲自治管理系統(tǒng)的應用提供支持。本文反映了作者自2001年以來的研究工作，主要研究內(nèi)容和創(chuàng)新點如下： 1.在分析現(xiàn)有的軟硬件可靠性評價模型的基礎上，提出了利用數(shù)據(jù)價值和停用損失來度量數(shù)據(jù)可靠性的思想，給出了數(shù)據(jù)可靠性的定義。以此為基礎，提出了用于分析數(shù)據(jù)可靠性的抽象模型。該模型對數(shù)據(jù)可用性、完整性、災難恢復等不同的特征都賦以不同的權重，并通過用戶損失來描述，統(tǒng)一了用戶和設計人員的標準，建立了統(tǒng)一的分析模型。 2

8、.根據(jù)數(shù)據(jù)在時間和空間上的分布特性，提出了計算副本剩余價值的方法。利用該方法，設計了故障發(fā)生后使數(shù)據(jù)損失最小的恢復策略。并提出了海量存儲系統(tǒng)中，使系統(tǒng)整體損失最小的備份和恢復算法。 3.對高可靠性技術性能進行了研究。首先，設計并實現(xiàn)了一個測量復制技術性能的工具，該工具可以對用不同方式實現(xiàn)的復制的性能進行測量和比較。其次，在ns2的基礎上實現(xiàn)了存儲區(qū)域網(wǎng)絡模擬器，可以用來模擬和計算SAN內(nèi)數(shù)據(jù)傳輸性能。 4.以數(shù)據(jù)可靠性模

9、型和高可靠性技術分析為基礎，提出了數(shù)據(jù)可靠性自動設計系統(tǒng)，該系統(tǒng)能根據(jù)用戶的可靠性和成本要求給出合適的存儲、備份方案。 5.以數(shù)據(jù)可靠性模型和副本價值計算方法為基礎，設計并實現(xiàn)了基于備份管理的可靠性管理自治系統(tǒng)，通過預定的策略將存儲系統(tǒng)的可靠性管理自動化，簡化了管理任務，降低了管理成本。另外，自治系統(tǒng)可以通過對系統(tǒng)的監(jiān)測，對復制參數(shù)進行調節(jié)，更好地達到預定目標。 本文的部分研究是與國外某大型IT企業(yè)(世界500強)合作完