分布式列式內(nèi)存數(shù)據(jù)庫存儲引擎.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)呈爆炸性增長。而傳統(tǒng)的基于磁盤的關(guān)系數(shù)據(jù)庫比如Oracle、MySQL已經(jīng)不能夠滿足日益增長的數(shù)據(jù)的大規(guī)模存儲和快速查詢需求。
　　內(nèi)存價格的降低使人們開始聚焦全內(nèi)存計算。具代表性的內(nèi)存數(shù)據(jù)庫數(shù)據(jù)存儲的實現(xiàn)方法和其缺點如：二元關(guān)聯(lián)表。其不含索引，索引需要額外構(gòu)建；統(tǒng)一表。其含全局字典，數(shù)據(jù)以字典下標的方式存儲。但是其合并將導致全局字典以及下標的更新，合并代價高；數(shù)據(jù)塊。現(xiàn)有方案中，索引在數(shù)據(jù)傾斜的情況下將失效

2、。快照隔離的實現(xiàn)方案如：數(shù)據(jù)拷貝。然而數(shù)據(jù)拷貝帶來了額外存儲開銷；事務(wù)跟蹤。其需要跟蹤所有的寫操作，增加了系統(tǒng)復(fù)雜度。并行計算方面，只采用CPU的同構(gòu)系統(tǒng)中，CPU的低并行度使其成為了計算瓶頸。
　　本文設(shè)計并實現(xiàn)了一個在海量結(jié)構(gòu)化數(shù)據(jù)集背景下，提供聯(lián)機分析處理(Online Analytical Processing，OLAP)查詢的分布式內(nèi)存數(shù)據(jù)庫存儲引擎系統(tǒng)。本文的主要工作體現(xiàn)在以下幾點：
　　1、研究主流的列式內(nèi)存數(shù)

3、據(jù)庫存儲系統(tǒng)、GPU加速的數(shù)據(jù)庫系統(tǒng)、基于非易失性內(nèi)存的存儲系統(tǒng)，提出并實現(xiàn)Master/Slave架構(gòu)的列式內(nèi)存數(shù)據(jù)庫存儲系統(tǒng)。
　　2、在數(shù)據(jù)存儲上，設(shè)計出對“讀”優(yōu)化的、壓縮的、含索引的存儲結(jié)構(gòu)及其外部索引，對“寫”優(yōu)化的、未壓縮的存儲結(jié)構(gòu)及其索引，以及基于非易失性內(nèi)存的存儲結(jié)構(gòu)。在數(shù)據(jù)查詢上，采用CPU SIMD、GPU技術(shù)加速數(shù)據(jù)查詢。
　　3、提出輕量級的快照實現(xiàn)方法，保證讀寫業(yè)務(wù)的數(shù)據(jù)隔離，讀寫業(yè)務(wù)不會相互阻塞

4、，同時，讀操作可以得到快速響應(yīng)。
　　在內(nèi)存占用上，本系統(tǒng)的內(nèi)存開銷總和（含索引、數(shù)據(jù)等）是原始數(shù)據(jù)的3倍左右，而傳統(tǒng)數(shù)據(jù)庫中樹形索引開銷一項是原始數(shù)據(jù)的3倍。在查詢性能上，本系統(tǒng)采用反向索引的方式，相對于未采用索引的情況，查詢性能有了數(shù)量級的提升。本系統(tǒng)采用輕量級的快照隔離方式來生成快照，能夠支持高并發(fā)場景下的查詢業(yè)務(wù)。實際測試中，最慢的快照時間在毫秒級別以內(nèi)。
　　本系統(tǒng)能夠方便的拓展為可同時支持 OLAP和聯(lián)機事務(wù)處理