面向非易失性內存的持久化Key-value內存數(shù)據(jù)庫設計與實現(xiàn).pdf

1、目前的內存數(shù)據(jù)庫為了保證數(shù)據(jù)不會丟失，會把內存中的數(shù)據(jù)備份到磁盤中。因為備份操作以及I/O操作的引入會極大降低內存數(shù)據(jù)庫的效率。近年出現(xiàn)的非易失性內存（NVM）具有掉電不丟失數(shù)據(jù)、字節(jié)可尋址以及讀寫速度快等特點，如果把內存數(shù)據(jù)庫部署在NVM上，可以極大地提升數(shù)據(jù)庫的效率。然而，現(xiàn)有的內存數(shù)據(jù)庫不能很好地利用NVM的優(yōu)勢，主要存在以下三個問題：
　　1）現(xiàn)有內存數(shù)據(jù)庫使用操作系統(tǒng)管理的臨時內存和數(shù)據(jù)結構，可能被系統(tǒng)回收或置換到外存，

2、不能持久化保存在內存里；
　　2）現(xiàn)有內存數(shù)據(jù)庫的一致性機制依賴于塊設備文件系統(tǒng)，不能利用NVM按字節(jié)尋址等特性提高性能；
　　3）數(shù)據(jù)庫的操作數(shù)據(jù)量較小，需要細粒度的內存空間管理。
　　為此，本次研究的目的是設計一個新的基于非易失性內存的key-value內存數(shù)據(jù)庫。和傳統(tǒng)的內存數(shù)據(jù)庫相比，基于非易失性內存的數(shù)據(jù)庫在保證訪問效率的同時，又可以避免數(shù)據(jù)丟失，避免數(shù)據(jù)庫備份以及I/O操作。本文的主要研究內容如下：

3、　?、俜且资詢却嫖锢砜臻g管理。對非易失性內存的操作都是通過映射到用戶空間的地址，在非易失性內存上直接操作。通過空閑鏈表和位圖共同管理空閑空間。大空間分配采用直接在空閑鏈表上分配的方式，小空間分配采用提前預分配的方式，減少對空閑鏈表的操作。這種分配分配方式減少了內部碎片，提高對小空間的分配效率。
　?、诶梅且资詢却娴姆且资猿志没瘮?shù)據(jù)庫，需要設計數(shù)據(jù)庫的元數(shù)據(jù)信息。當數(shù)據(jù)庫存儲于非易失性內存上時，雖然它具有非易失性，但是存儲數(shù)

4、據(jù)的具體位置和索引等信息已經不在，不能恢復數(shù)據(jù)庫。為此我們根據(jù)需求，設計數(shù)據(jù)庫的元數(shù)據(jù)，在設備固定位置保存數(shù)據(jù)庫的索引和組織結構信息。在重新啟動或者系統(tǒng)掉電后依然可以快速恢復數(shù)據(jù)庫。
　?、塾捎诜且资詢却娴囊耄匦略O計并實現(xiàn)保證一致性的方案。普通的磁盤數(shù)據(jù)庫是依靠文件系統(tǒng)的一致性機制來保證一致性，在非易失性內存中已經不適用。本文通過日志與寫入時復制（COW）相結合的方式來保證數(shù)據(jù)庫的一致性。這種方式可以在保證一致性的同時保證高

5、并發(fā)能力。
　　本文使用提出的技術，基于開源的key-value內存數(shù)據(jù)庫Redis實現(xiàn)了一個面向非易失性內存的持久化內存數(shù)據(jù)庫，Persistent Redis(PRedis)。在Redis基礎上，PRedis新增加非易失性內存管理單元，數(shù)據(jù)庫元數(shù)據(jù)和一致性性算法。本文用標準工具驗證PRedis的性能。在數(shù)據(jù)量是1000萬條的情況下，數(shù)據(jù)庫的啟動和關閉效率有1000倍的提升。相比基于磁盤做備份的Redis，本文提出的PRedis