基于持久化內(nèi)存文件系統(tǒng)的連接算法分析與并行化研究.pdf

1、連接操作是關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中最基本、最昂貴的操作，對(duì)數(shù)據(jù)庫(kù)的性能有著重要的影響。為滿足高性能和低功耗的要求，工業(yè)界和學(xué)術(shù)界越來(lái)越多地利用新型非易失性內(nèi)存讀寫速度快、可按字節(jié)尋址、低功耗、存儲(chǔ)密度大等特點(diǎn)來(lái)存放需要持久化的數(shù)據(jù)。為此，現(xiàn)已有多個(gè)針對(duì)非易失性內(nèi)存的內(nèi)存文件系統(tǒng)，其文件讀寫方式和性能都不同于傳統(tǒng)基于塊設(shè)備的文件系統(tǒng)。而數(shù)據(jù)庫(kù)里的連接表作為文件存放在文件系統(tǒng)中，內(nèi)存文件系統(tǒng)對(duì)連接操作的性能影響需要研究。然而，目前尚無(wú)針對(duì)連接操作在

2、內(nèi)存文件系統(tǒng)的性能分析及其并行化的研究。
　　本文以新型內(nèi)存文件系統(tǒng)SIMFS（Sustainable In-Memory File System）為代表，研究?jī)?nèi)存文件系統(tǒng)的數(shù)據(jù)讀寫與傳統(tǒng)塊設(shè)備文件系統(tǒng)如 EXT4（Fourth Extended File System）的I/O路徑等方面的差異。然后分別實(shí)現(xiàn)最常用的Nest Loop Join、Sort Merge Join和Hash Join三種連接操作，在SIMFS和EXT4

3、下設(shè)置不同的數(shù)據(jù)讀寫塊大小和I/O大小對(duì)三種連接操作進(jìn)行測(cè)試。
　　本文分別從內(nèi)存文件系統(tǒng)對(duì)連接操作的性能優(yōu)化、塊大小對(duì)連接操作的影響、三種連接操作之間的比較以及連接操作中數(shù)據(jù)的讀寫等方面進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明三種連接操作在SIMFS較EXT4中均有不同程度的性能提升。在不同文件系統(tǒng)下連接操作受到塊大小的影響不同，傳統(tǒng)文件系統(tǒng)下，連接操作受到塊大小改變的影響更大。Hash Join和Sort Merge Join分別通過(guò)哈希和排序

4、的方式減少數(shù)據(jù)的讀取和比對(duì)，性能相對(duì)Nest Loop Join有明顯的提升，Hash Join的性能又優(yōu)于Sort Merge Join，三種連接操作在不同文件系統(tǒng)下的性能差距略有不同。不同文件系統(tǒng)下，連接操作的數(shù)據(jù)讀寫在總連接過(guò)程中所占比例不同，內(nèi)存文件系統(tǒng)下的數(shù)據(jù)的讀寫在連接操作中的所占的比例較小。
　　根據(jù)對(duì)實(shí)驗(yàn)結(jié)果的分析，本文分別提出相關(guān)的優(yōu)化建議。不同于基于塊設(shè)備的文件系統(tǒng)，內(nèi)存文件系統(tǒng)下連接操作的優(yōu)化已經(jīng)不僅要考慮數(shù)