基于RAID5的內(nèi)存鍵值存儲(chǔ)系統(tǒng)的可靠性研究.pdf

1、移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展給當(dāng)前應(yīng)用帶來(lái)了動(dòng)輒千萬(wàn)的用戶(hù)，規(guī)模巨大的用戶(hù)數(shù)量產(chǎn)生了海量的數(shù)據(jù)。為了保證用戶(hù)體驗(yàn)，需要極大提高海量數(shù)據(jù)的存取速度。尤其是在故障頻發(fā)的情況下，若不能保證系統(tǒng)的可用性來(lái)及時(shí)恢復(fù)數(shù)據(jù)響應(yīng)用戶(hù)，應(yīng)用將會(huì)面臨被淘汰的可能性。
　　為了提高系統(tǒng)性能，當(dāng)前很多應(yīng)用將熱點(diǎn)數(shù)據(jù)存儲(chǔ)在基于內(nèi)存的鍵值存儲(chǔ)系統(tǒng)中。而內(nèi)存掉電數(shù)據(jù)丟失，現(xiàn)階段通用的解決方案是通過(guò)多副本和編碼來(lái)保證數(shù)據(jù)可用性。對(duì)于內(nèi)存存儲(chǔ)，采用多副本方案的成本很高，而

2、通過(guò)糾錯(cuò)編碼可以顯著地減少內(nèi)存存儲(chǔ)成本。目前，面向內(nèi)存的鍵值存儲(chǔ)系統(tǒng)用編碼實(shí)現(xiàn)可靠性的系統(tǒng)較少，典型的有Cocytus。但是Cocytus是基于4KB大小的粒度進(jìn)行編碼，數(shù)據(jù)寫(xiě)入和實(shí)時(shí)恢復(fù)上存在著放大問(wèn)題；另外，Cocytus采用非中心控制架構(gòu)，使得服務(wù)器間的點(diǎn)對(duì)點(diǎn)通信開(kāi)銷(xiāo)較大，進(jìn)一步影響了數(shù)據(jù)的寫(xiě)入性能。
　　針對(duì)上述問(wèn)題設(shè)計(jì)了一個(gè)新的內(nèi)存鍵值存儲(chǔ)系統(tǒng)MemcacheR。該系統(tǒng)在內(nèi)存中以單個(gè)key/value對(duì)的粒度進(jìn)行RAID

3、5編碼存儲(chǔ)，編碼運(yùn)算為異或操作，簡(jiǎn)單高效。同時(shí)編碼粒度小，克服了Cocytus編碼粒度過(guò)大所產(chǎn)生的影響，當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，能夠更快速地恢復(fù)數(shù)據(jù)并返回給用戶(hù)。在系統(tǒng)中設(shè)計(jì)實(shí)現(xiàn)了集中式管理，通過(guò)中心模塊來(lái)管理 MemcacheR系統(tǒng)，避免了服務(wù)器間點(diǎn)對(duì)點(diǎn)的大量通信，明顯提高了數(shù)據(jù)的寫(xiě)入性能。
　　測(cè)試結(jié)果表明，MemcacheR相較于副本系統(tǒng)能夠節(jié)約存儲(chǔ)成本35％~45%。讀延遲與原生的 Memcached系統(tǒng)基本持平，寫(xiě)延遲比多副本