多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究.pdf

1、信息資源的爆炸性增長(zhǎng)、云計(jì)算模式的興起與應(yīng)用，對(duì)存儲(chǔ)系統(tǒng)的存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提出了巨大挑戰(zhàn)。構(gòu)建超大容量、高性能、高可靠性的存儲(chǔ)系統(tǒng)是學(xué)術(shù)界和工業(yè)界一直追求的目標(biāo)。現(xiàn)代存儲(chǔ)系統(tǒng)往往由成百上千個(gè)存儲(chǔ)節(jié)點(diǎn)組成，多個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)出現(xiàn)故障概率大大增加，會(huì)出現(xiàn)因存儲(chǔ)節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失的災(zāi)難性后果。因此，如何設(shè)計(jì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)方案，如何提高多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的I/O性能，已是海量存儲(chǔ)系統(tǒng)迫切需要解決的問(wèn)題。

2、r>　　 本文以如何提高海量存儲(chǔ)系統(tǒng)的可靠性和I/O性能為研究目標(biāo)，對(duì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)和緩存組織問(wèn)題進(jìn)行了探索性和創(chuàng)新性研究，主要研究?jī)?nèi)容和創(chuàng)新性成果如下：
　　 1、針對(duì)雙節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問(wèn)題，提出了一種高效的數(shù)據(jù)容錯(cuò)方案--水平旋轉(zhuǎn)碼HRC。HRC是一類(lèi)最小列距離為3的MDS陣列碼.滿(mǎn)足RAID-6規(guī)范，且具有最優(yōu)的編譯碼復(fù)雜度。本文從理論上定義了HRC，證明了其糾正任意雙列刪除錯(cuò)誤的能力和MDS性質(zhì)

3、，并給出糾正雙列刪除錯(cuò)誤的快速譯碼算法。與現(xiàn)有的RAID-6實(shí)現(xiàn)方案如EVENODD和RS碼比較，HRC具有編譯碼算法簡(jiǎn)單，實(shí)現(xiàn)復(fù)雜度低，易于軟硬件實(shí)現(xiàn)等特點(diǎn)。
　　 2、針對(duì)三節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問(wèn)題，通過(guò)擴(kuò)展HRC提出了兩種高效的數(shù)據(jù)容錯(cuò)方案扇狀碼FSC和三星碼TSC。從幾何特性上看，F(xiàn)SC和TSC是在HRC基礎(chǔ)上分別增加了一列斜率為-2和斜率為1的校驗(yàn)。TSC通過(guò)優(yōu)化第三列校驗(yàn)的生成方式可以獲得比FSC更快的譯碼速度

4、。本文從理論上證明了FSC和TSC糾正任意3列刪除錯(cuò)誤的能力，并給出了各種刪除錯(cuò)誤模式下的譯碼算法。FSC和TSC都是最小列距離為4的MDS陣列碼，編譯碼速度優(yōu)于G-EVENODD碼(r=3)和STAR碼。
　　 3、針對(duì)多節(jié)點(diǎn)(≥4)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問(wèn)題，提出了一種高效的數(shù)據(jù)容錯(cuò)方案-垂直旋轉(zhuǎn)碼VRC。VRC采用糾刪碼的圖表示方法描述，是一種垂直陣列碼。VRC具有較高容錯(cuò)能力、參數(shù)限制少、適應(yīng)性高等特點(diǎn)，基于VRC構(gòu)建的

5、存儲(chǔ)系統(tǒng)具有負(fù)載均衡、最優(yōu)更新代價(jià)等優(yōu)點(diǎn)。本文闡述了VRC的編碼思想和構(gòu)造方法，提出了用解線(xiàn)性方程組方法進(jìn)行譯碼，從理論上證明了VRC能糾正任意q個(gè)節(jié)點(diǎn)刪除錯(cuò)誤。與其他能糾正任意q個(gè)存儲(chǔ)節(jié)點(diǎn)刪除錯(cuò)誤的編碼，如RS碼、LDPC碼相比，VRC具有編譯碼規(guī)則簡(jiǎn)單，編澤碼計(jì)算開(kāi)銷(xiāo)小等優(yōu)點(diǎn)。
　　 4、針對(duì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的緩存結(jié)構(gòu)設(shè)計(jì)問(wèn)題，提出了一種基于DRAM和固態(tài)硬盤(pán)的多元化存儲(chǔ)介質(zhì)緩存結(jié)構(gòu)M-Cache，以及該緩存結(jié)構(gòu)的高效組織

6、和管理方法。在M-Cache中，根據(jù)訪(fǎng)問(wèn)方式的不同，主機(jī)訪(fǎng)問(wèn)數(shù)據(jù)被劃分為主機(jī)讀數(shù)據(jù)和主機(jī)寫(xiě)數(shù)據(jù)。DRAM存儲(chǔ)器既存放主機(jī)讀數(shù)據(jù)又存放主機(jī)寫(xiě)數(shù)據(jù)，基于Flash的固態(tài)硬盤(pán)只存放主機(jī)寫(xiě)數(shù)據(jù)，主機(jī)寫(xiě)數(shù)據(jù)在寫(xiě)入DRAM存儲(chǔ)器的同時(shí)也被寫(xiě)入基于Flash的固態(tài)硬盤(pán)。新的緩存結(jié)構(gòu)M-Cache充分利用了DRAM存儲(chǔ)器的快速隨機(jī)訪(fǎng)問(wèn)特性和基于Flash的固態(tài)硬盤(pán)掉電后長(zhǎng)久保存數(shù)據(jù)能力，提高了緩存系統(tǒng)的讀寫(xiě)性能和數(shù)據(jù)的可靠性。
　　 5、針對(duì)多

7、節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的緩存置換管理問(wèn)題，提出了一種寫(xiě)優(yōu)先的緩存置換管理算法WP-LRU。WP-LRU算法基于存儲(chǔ)系統(tǒng)緩存中淘汰主機(jī)寫(xiě)數(shù)據(jù)塊的代價(jià)遠(yuǎn)大于淘汰主機(jī)讀數(shù)據(jù)塊的原理，根據(jù)主機(jī)訪(fǎng)問(wèn)模式的不同將緩存中的數(shù)據(jù)塊劃分為主機(jī)讀數(shù)據(jù)塊和主機(jī)寫(xiě)數(shù)據(jù)塊，對(duì)兩種不同類(lèi)型的數(shù)據(jù)塊實(shí)施不同的管理策略：主機(jī)讀數(shù)據(jù)塊使用常見(jiàn)的LRU算法進(jìn)行管理，主機(jī)寫(xiě)數(shù)據(jù)塊使用聚合寫(xiě)算法進(jìn)行管理。WP-LRU算法具有良好的擴(kuò)展性，在不改變緩存命中率的情況下可降低系統(tǒng)的平均服