容錯存儲系統(tǒng)校驗更新及修復(fù)優(yōu)化技術(shù)研究.pdf

1、近年來隨著數(shù)據(jù)的爆炸式增長，數(shù)據(jù)的存儲規(guī)模越來越大，傳統(tǒng)的單機(jī)系統(tǒng)已經(jīng)無法滿足高速增長的數(shù)據(jù)存儲需求。分布式存儲系統(tǒng)使用大量廉價商用服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，可以提供極強(qiáng)的服務(wù)能力和擴(kuò)展能力。然而，隨著集群規(guī)模的變大、存儲設(shè)備的增多，存儲節(jié)點(diǎn)失效已不是偶然事件。因此，分布式存儲系統(tǒng)對數(shù)據(jù)的可靠性要求尤為突出。分布式存儲系統(tǒng)常用的容錯技術(shù)有兩種，多副本技術(shù)和糾刪碼技術(shù)。糾刪碼技術(shù)相對于多副本技術(shù)在提供相同容錯能力的前提下，所需的存儲開銷更小，因

2、此被存儲系統(tǒng)廣泛采用。糾刪碼技術(shù)通過對數(shù)據(jù)切塊，計算并存儲一定的冗余數(shù)據(jù)，當(dāng)發(fā)生不超過系統(tǒng)容錯能力的節(jié)點(diǎn)失效時，可以利用存活節(jié)點(diǎn)的數(shù)據(jù)恢復(fù)出失效節(jié)點(diǎn)的數(shù)據(jù)。所以，為保證部署糾刪碼的存儲系統(tǒng)的可靠性，在數(shù)據(jù)塊更新的同時需要更新與之關(guān)聯(lián)的校驗數(shù)據(jù);同時，當(dāng)存儲校驗數(shù)據(jù)的節(jié)點(diǎn)失效時，快速的故障數(shù)據(jù)恢復(fù)對保證分布式存儲系統(tǒng)的可靠性也同等重要。本文主要研究了部署糾刪碼的存儲系統(tǒng)校驗更新及修復(fù)優(yōu)化問題，主要研究內(nèi)容與貢獻(xiàn)如下:
　　(1)校驗

3、數(shù)據(jù)更新優(yōu)化研究
　　隨著業(yè)務(wù)規(guī)模的增長，已有的存儲系統(tǒng)往往無法滿足上層應(yīng)用更大的存儲容量和更高的訪問帶寬需求。當(dāng)應(yīng)用需求超過存儲系統(tǒng)的負(fù)荷時，需要增加新的存儲介質(zhì)到已有的系統(tǒng)中，并將部分?jǐn)?shù)據(jù)遷移到新的存儲設(shè)備上，以均衡負(fù)載和提供更大的訪問帶寬。然而，數(shù)據(jù)遷移會造成大量校驗更新，由此給系統(tǒng)造成額外負(fù)載。本文針對擴(kuò)容過程中的校驗數(shù)據(jù)更新問題，提出了一種優(yōu)化策略EPU(EfficientParityUpdateAlgorithm)。首

4、先，EPU根據(jù)用戶請求訪問情況調(diào)整擴(kuò)容順序，以最大化利用用戶請求節(jié)省校驗更新引發(fā)的I/O;其次，EPU通過比較不同校驗更新方式的系統(tǒng)開銷，選擇最佳的校驗更新方式，并盡可能的聚合校驗更新I/O以減小系統(tǒng)開銷。相比于傳統(tǒng)擴(kuò)容方法采用固定的校驗更新方式，使用EPU，既可以減少擴(kuò)容過程引發(fā)的系統(tǒng)帶寬開銷，也能加快擴(kuò)容過程的完成。
　　(2)校驗數(shù)據(jù)故障恢復(fù)優(yōu)化研究
　　分布式存儲系統(tǒng)的規(guī)模越來越大，有的甚至達(dá)到幾百上千臺集群規(guī)模。龐

5、大的節(jié)點(diǎn)數(shù)目造成節(jié)點(diǎn)故障頻發(fā)，當(dāng)發(fā)生節(jié)點(diǎn)失效時，需要將失效節(jié)點(diǎn)修復(fù)，以維持?jǐn)?shù)據(jù)的可用性。并且，數(shù)據(jù)的修復(fù)速度應(yīng)盡可能的快，因為如果修復(fù)時間過長，修復(fù)期間有可能發(fā)生更多節(jié)點(diǎn)失效，若失效節(jié)點(diǎn)數(shù)量超過系統(tǒng)的容錯能力，將造成數(shù)據(jù)的永久丟失。因此，數(shù)據(jù)的快速修復(fù)對于系統(tǒng)的可靠性至關(guān)重要。本文提出了一種基于局部校驗和全局校驗相結(jié)合的新型編碼ESRC(EfficientSingle-failureRecoveryCode)碼，該編碼可以高效地修復(fù)單個