基于內(nèi)存的分布式行式數(shù)據(jù)引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在現(xiàn)實(shí)中，企業(yè)部署在生產(chǎn)環(huán)境中的數(shù)據(jù)庫(kù)主要面向OLTP，或是對(duì)OLAP的支持十分匱乏，或是執(zhí)行分析處理時(shí)事務(wù)處理接近癱瘓。近年來(lái)，隨著商業(yè)智能應(yīng)用的普及，數(shù)據(jù)倉(cāng)儲(chǔ)作為 OLAP的工具被應(yīng)用到各行業(yè)中，為企業(yè)的管理層作決策提供數(shù)據(jù)支持。業(yè)界常采用周期性將數(shù)據(jù)從生產(chǎn)環(huán)境數(shù)遷入數(shù)據(jù)倉(cāng)儲(chǔ)，再進(jìn)行離線分析的方法來(lái)解決問(wèn)題。然而，因?yàn)榕c實(shí)時(shí)生產(chǎn)數(shù)據(jù)相對(duì)分離，在對(duì)數(shù)據(jù)實(shí)時(shí)性高度敏感的行業(yè)中，數(shù)據(jù)倉(cāng)儲(chǔ)的離線分析結(jié)果缺乏說(shuō)服力，不能有力的支撐決策。

2、>　　本文針對(duì)OLTP系統(tǒng)與OLAP系統(tǒng)中數(shù)據(jù)分離導(dǎo)致的問(wèn)題，對(duì)混合支持OLTP與 OLAP的理論和方法進(jìn)行了研究，設(shè)計(jì)與實(shí)現(xiàn)了基于內(nèi)存的分布式行式數(shù)據(jù)引擎，重點(diǎn)對(duì)確定性事務(wù)的處理方案進(jìn)行了探索，在保證事務(wù)處理性能的前提下，實(shí)現(xiàn)了OLTP系統(tǒng)與OLAP系統(tǒng)的數(shù)據(jù)與功能的融合。其主要工作包括：
　　1、實(shí)現(xiàn)了OLTP與OLAP的融合。在系統(tǒng)中，設(shè)計(jì)和實(shí)現(xiàn)了基線數(shù)據(jù)與增量數(shù)據(jù)并存情況下數(shù)據(jù)的讀寫處理方案。行式數(shù)據(jù)引擎實(shí)現(xiàn)了聯(lián)機(jī)事務(wù)處理

3、，又能為聯(lián)機(jī)分析處理提供實(shí)時(shí)數(shù)據(jù)。
　　2、面向新硬件體型構(gòu)建系統(tǒng)。以內(nèi)存為主要存儲(chǔ)介質(zhì)，數(shù)據(jù)的計(jì)算和存儲(chǔ)均在內(nèi)存之中。基于 infiniband架構(gòu)verbs層的RDMA接口，設(shè)計(jì)與實(shí)現(xiàn)了高效的底層通信模塊。全內(nèi)存的計(jì)算方式與RDMA的數(shù)據(jù)交互方式，保證事務(wù)的快速響應(yīng)。
　　3、設(shè)計(jì)和實(shí)現(xiàn)了確定性分布式事務(wù)的處理框架。在分布式事務(wù)控制上，系統(tǒng)將事務(wù)賦予全局向量時(shí)鐘、拆分為各數(shù)據(jù)分區(qū)的子事務(wù)并執(zhí)行，避免了使用傳統(tǒng)的兩階段提交