基于分布式內(nèi)存云的查詢系統(tǒng).pdf

1、圖(Graph)作為一種常見通用的數(shù)據(jù)結(jié)構(gòu),由于其豐富的數(shù)據(jù)表現(xiàn)能力,在越來(lái)越多的應(yīng)用中被用來(lái)對(duì)數(shù)據(jù)進(jìn)行抽象和建模。隨著社交網(wǎng)絡(luò),語(yǔ)義Web等大型應(yīng)用的興起,我們面臨對(duì)來(lái)自大規(guī)模海量圖數(shù)據(jù)的存儲(chǔ)和查詢的挑戰(zhàn),在存儲(chǔ)方面,傳統(tǒng)的基于磁盤或者分布式文件系統(tǒng)的解決方案并未充分考慮圖的隨機(jī)訪問(wèn)特性,因此在大規(guī)模數(shù)據(jù)集上的密集訪問(wèn)構(gòu)成對(duì)系統(tǒng)IO性能的巨大威脅。在查詢方面,傳統(tǒng)的圖查詢算法往往只能滿足在小規(guī)模數(shù)據(jù)集上的查詢,當(dāng)數(shù)據(jù)超過(guò)一定規(guī)模的時(shí)候

2、,傳統(tǒng)的算法無(wú)法完成真正意義上的實(shí)時(shí)查詢。結(jié)合我們過(guò)去的工作,本文提出了一種基于分布式內(nèi)存云Trinity的分布式內(nèi)存圖存儲(chǔ)和建模方案,根據(jù)分布式內(nèi)存云的特征,我們又設(shè)計(jì)實(shí)現(xiàn)了一套完整的查詢方案,包括查詢語(yǔ)言,查詢執(zhí)行,查詢優(yōu)化等多個(gè)方面的工作?？紤]到在實(shí)際場(chǎng)景中的內(nèi)存限制,我們另外提出了一種結(jié)合分布式內(nèi)存云與RDBMS的混合存儲(chǔ)方案,并對(duì)此進(jìn)行了查詢優(yōu)化的重新設(shè)計(jì)。我們?cè)诂F(xiàn)有的最大規(guī)模的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評(píng)估,結(jié)果表明我們的存儲(chǔ)方案,