SaaS應(yīng)用交付平臺(tái)中多租房云數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf

1、隨著云計(jì)算的發(fā)展及應(yīng)用軟件的成熟，軟件即服務(wù)(Software as aService，SaaS)作為云計(jì)算的一種應(yīng)用形式，越來越受到重視，已逐漸成為中小企業(yè)應(yīng)用先進(jìn)技術(shù)的重要途徑。SaaS應(yīng)用交付平臺(tái)推動(dòng)了SaaS模式的蓬勃發(fā)展，越來越多的個(gè)人或機(jī)構(gòu)通過SaaS平臺(tái)租賃各種形式的應(yīng)用，這些應(yīng)用正在覆蓋人們生活的各個(gè)領(lǐng)域，通過應(yīng)用及應(yīng)用之間的協(xié)同工作，完成搜索、事務(wù)管理以及分析等。目前，成熟的SaaS服務(wù)提供商多采用一對(duì)多的軟件交付模式

2、，成千上萬租戶共享一個(gè)應(yīng)用，業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在服務(wù)提供商的共享數(shù)據(jù)庫中，最終用戶感受不到所使用的實(shí)例在同一時(shí)間也為其他客戶所共享。支持租戶定制的多租戶共享存儲(chǔ)架構(gòu)，實(shí)現(xiàn)了從操作系統(tǒng)到數(shù)據(jù)結(jié)構(gòu)等各個(gè)級(jí)別的資源共享，充分利用了硬件、數(shù)據(jù)庫等資源，然而單個(gè)節(jié)點(diǎn)所能支持的租戶數(shù)量受到硬件限制，當(dāng)租戶需要更多存儲(chǔ)空間和更高服務(wù)質(zhì)量時(shí)，需要采用升級(jí)硬件的方式實(shí)現(xiàn)，難以實(shí)現(xiàn)規(guī)模的動(dòng)態(tài)擴(kuò)展。隨著SaaS交付平臺(tái)租戶數(shù)目及信息數(shù)據(jù)量呈幾何曲線性增長，SaaS

3、交付平臺(tái)數(shù)據(jù)管理正處于由單數(shù)據(jù)節(jié)點(diǎn)往云中多數(shù)據(jù)節(jié)點(diǎn)轉(zhuǎn)變的必然階段，而相應(yīng)地對(duì)SaaS應(yīng)用交付平臺(tái)數(shù)據(jù)管理能力的期望值也越來越高。
　　 本文致力于SaaS應(yīng)用交付平臺(tái)中多租戶云數(shù)據(jù)管理關(guān)鍵技術(shù)的研究，目標(biāo)在于最大限度地支持快速開發(fā)與交付，保障SaaS應(yīng)用多租戶的高效運(yùn)行。SaaS應(yīng)用交付平臺(tái)多租戶云數(shù)據(jù)管理具有自身的特點(diǎn)，現(xiàn)有云數(shù)據(jù)管理方法不能有效解決以下問題：(1)SaaS平臺(tái)租戶數(shù)據(jù)彈性擴(kuò)展問題。SaaS應(yīng)用交付平臺(tái)涉及到大

4、量的SaaS應(yīng)用，各應(yīng)用業(yè)務(wù)領(lǐng)域不同，數(shù)據(jù)模式必然千差萬別；每個(gè)SaaS應(yīng)用擁有眾多的租戶，租戶在同一應(yīng)用下的模式類似，但業(yè)務(wù)又不盡相同；即便是同一租戶在不同的發(fā)展階段，數(shù)據(jù)模式也會(huì)有各自的特點(diǎn)。因此，平臺(tái)要支持?jǐn)?shù)據(jù)存儲(chǔ)模型的彈性擴(kuò)展，同時(shí)，還要解決因?yàn)閿?shù)據(jù)管理復(fù)雜度的增加而導(dǎo)致的性能下降問題，保證應(yīng)用的高效運(yùn)轉(zhuǎn)。(2)現(xiàn)有云數(shù)據(jù)放置策略未引入SaaS特征。面對(duì)SaaS交付平臺(tái)的海量數(shù)據(jù)，云數(shù)據(jù)庫分配云中的多個(gè)數(shù)據(jù)節(jié)點(diǎn)為其提供服務(wù)，所有

5、SaaS應(yīng)用所有租戶的數(shù)據(jù)作為一個(gè)整體被分割放置到各個(gè)節(jié)點(diǎn)上，由于SaaS平臺(tái)租戶共享存儲(chǔ)的特點(diǎn)，云數(shù)據(jù)庫無法根據(jù)數(shù)據(jù)模式對(duì)其進(jìn)行虛擬化，租戶做為獨(dú)立個(gè)體的特征往往被忽略，從而導(dǎo)致多租戶數(shù)據(jù)的混合放置以及單個(gè)租戶數(shù)據(jù)的分散，增加了租戶數(shù)據(jù)訪問及應(yīng)用之間數(shù)據(jù)共享的代價(jià)，因此，需要在云數(shù)據(jù)管理中引入平臺(tái)租戶數(shù)據(jù)的特征，才能有效進(jìn)行SaaS平臺(tái)數(shù)據(jù)分割及云數(shù)據(jù)管理的彈性伸縮。(3)缺少多級(jí)別、細(xì)粒度的SaaS平臺(tái)租戶索引支持?，F(xiàn)有的云數(shù)據(jù)管理

6、機(jī)制針對(duì)每個(gè)用戶建立一個(gè)虛擬數(shù)據(jù)庫，意識(shí)不到SaaS應(yīng)用交付平臺(tái)中的應(yīng)用租戶，無法精確的定位到租戶數(shù)據(jù)節(jié)點(diǎn)上；同時(shí)，在租戶數(shù)據(jù)共享存儲(chǔ)的局部節(jié)點(diǎn)上，傳統(tǒng)的索引機(jī)制已經(jīng)失效，無法提供有效的租戶邏輯索引，使得租戶的隨機(jī)數(shù)據(jù)操作變的困難。本文以SaaS應(yīng)用交付平臺(tái)中多租戶云數(shù)據(jù)管理為目標(biāo)，對(duì)SaaS平臺(tái)數(shù)據(jù)模型、云中放置策略、租戶索引等進(jìn)行了深入研究，主要貢獻(xiàn)概括如下：
　　 ⑴提出一種SaaS平臺(tái)多租戶虛擬化方式及高效映射轉(zhuǎn)換的數(shù)據(jù)

7、分層模型，通過租戶無關(guān)的應(yīng)用數(shù)據(jù)模型為開發(fā)商屏蔽多租戶云數(shù)據(jù)管理技術(shù)細(xì)節(jié)，通過租戶邏輯模型支持租戶按需定制數(shù)據(jù)模式以及各業(yè)務(wù)系統(tǒng)數(shù)據(jù)之間的共享關(guān)系，通過邏輯存儲(chǔ)模型為平臺(tái)運(yùn)營商屏蔽了云中數(shù)據(jù)節(jié)點(diǎn)伸縮技術(shù)，解決了SaaS應(yīng)用生命周期云數(shù)據(jù)管理技術(shù)瓶頸問題。針對(duì)SaaS平臺(tái)“共享數(shù)據(jù)庫、單實(shí)例多租賃、多數(shù)據(jù)節(jié)點(diǎn)”的需求，以及SaaS應(yīng)用開發(fā)存在技術(shù)瓶頸的問題，建立了SaaS平臺(tái)多租戶虛擬化模型及數(shù)據(jù)分層模型，支持開發(fā)商面向標(biāo)準(zhǔn)SQL(Str

8、uctured Query Language)編程，由平臺(tái)支撐SaaS應(yīng)用的按需定制及運(yùn)行，能有效支持租戶自主定制，數(shù)據(jù)統(tǒng)一管理，方便應(yīng)用之間的數(shù)據(jù)共享，數(shù)據(jù)權(quán)限模型管理以及事務(wù)管理，也方便保證平臺(tái)數(shù)據(jù)節(jié)點(diǎn)在云中的伸縮。通過原型系統(tǒng)驗(yàn)證，該多租戶虛擬化模型及分層數(shù)據(jù)模型具有較高的獨(dú)立性，支持開發(fā)商使用標(biāo)準(zhǔn)SQL編程；通過模式映射感知多種多租戶共享存儲(chǔ)方式，并根據(jù)元數(shù)據(jù)在各多租戶存儲(chǔ)模型之間進(jìn)行切換；支持?jǐn)?shù)據(jù)節(jié)點(diǎn)的彈性伸縮，為SaaS交付

9、平臺(tái)提供了友好數(shù)據(jù)訪問模式、高一致性、高可伸縮性、高可用性。
　　 ⑵提出一種多稀疏表與鍵值對(duì)相結(jié)合的多租戶數(shù)據(jù)邏輯存儲(chǔ)模型，以及支持租戶多級(jí)定制的元數(shù)據(jù)存儲(chǔ)模型，從根本上解決了稀疏表定制能力受限以及數(shù)據(jù)操作粒度較大的問題，降低了元數(shù)據(jù)的冗余存儲(chǔ)，簡(jiǎn)化了租戶定制過程，增強(qiáng)了租戶按需變更能力，同時(shí)，該邏輯模型便于進(jìn)行數(shù)據(jù)的分割與放置，為租戶數(shù)據(jù)在云中的存儲(chǔ)奠定了模式基礎(chǔ)。針對(duì)多租戶共享存儲(chǔ)模式下數(shù)據(jù)稀疏，進(jìn)而導(dǎo)致存取性能下降的問題

10、，以及租戶定制能力受限、定制數(shù)據(jù)冗余存儲(chǔ)的問題，通過劃分多個(gè)稀疏表，提高了稀疏表的密集程度，避免了SaaS平臺(tái)稀疏表中眾多空值導(dǎo)致的存儲(chǔ)空間浪費(fèi)、存取性能下降及關(guān)系連接效率不高的情況，通過鍵值對(duì)的擴(kuò)展存儲(chǔ)機(jī)制提高了租戶存儲(chǔ)模型的定制能力，通過元數(shù)據(jù)的多級(jí)存儲(chǔ)模型，解決了元數(shù)據(jù)冗余存儲(chǔ)的問題，同時(shí)提高了定制效率。通過SaaS平臺(tái)描述的租戶信息，方便建立元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)分布策略。實(shí)驗(yàn)結(jié)果表明，本方案在用戶視圖列數(shù)呈正態(tài)分布的情況下，數(shù)據(jù)密集

11、程度平均提高20％，關(guān)系連接效率隨著元組數(shù)量增大而顯著提高：定制數(shù)據(jù)冗余存儲(chǔ)減少達(dá)56.7％，是一種行之有效的存儲(chǔ)模型。
　　 ⑶提出一種面向SaaS應(yīng)用交付平臺(tái)的云中多租戶數(shù)據(jù)分割模型及動(dòng)態(tài)同步遷移策略，解決了共享存儲(chǔ)模式下無法識(shí)別SaaS應(yīng)用租戶，難以使用快照、日志等數(shù)據(jù)庫技術(shù)進(jìn)行租戶數(shù)據(jù)遷移的問題，通過SaaS平臺(tái)數(shù)據(jù)層面的同步遷移策略，完成租戶數(shù)據(jù)的動(dòng)態(tài)移植，保證云中各數(shù)據(jù)節(jié)點(diǎn)的負(fù)載均衡及良好的用戶體驗(yàn)。在云中為SaaS

12、平臺(tái)創(chuàng)建一個(gè)虛擬數(shù)據(jù)庫，租戶數(shù)據(jù)共享存儲(chǔ)，使得云數(shù)據(jù)庫無法以SaaS應(yīng)用租戶為單位進(jìn)行數(shù)據(jù)管理，如分割、遷移、備份等。為實(shí)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)的彈性伸縮，本文基于租戶個(gè)體數(shù)據(jù)量較小，總體數(shù)據(jù)海量的特征，通過SaaS平臺(tái)元數(shù)據(jù)驅(qū)動(dòng)的租戶數(shù)據(jù)分割機(jī)制，保證租戶事務(wù)性操作能在單個(gè)數(shù)據(jù)節(jié)點(diǎn)完成，盡最大可能避免了分布式事務(wù)的處理；從數(shù)據(jù)層面構(gòu)建平臺(tái)的數(shù)據(jù)遷移策略，通過獨(dú)立的遷移進(jìn)程移植租戶數(shù)據(jù)，通過數(shù)據(jù)引擎對(duì)源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)當(dāng)前事務(wù)進(jìn)行同步操作，降低了宕機(jī)

13、時(shí)間和遷移負(fù)載，保證了云中數(shù)據(jù)節(jié)點(diǎn)的伸縮性以及平臺(tái)的整體性能。實(shí)驗(yàn)結(jié)果表明，本方案在數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)量達(dá)到閾值50％的情況下發(fā)起數(shù)據(jù)遷移，遷移過程中租戶的訪問請(qǐng)求未受顯著影響，遷移后租戶的訪問代價(jià)降低，平臺(tái)整體性能得到了提高。
　　 ⑷提出一種SaaS平臺(tái)多級(jí)別、細(xì)粒度索引模型，通過SaaS交付平臺(tái)租戶的位置編碼，迅速定位到租戶所屬數(shù)據(jù)節(jié)點(diǎn)，解決了云數(shù)據(jù)管理無法識(shí)別SaaS應(yīng)用租戶的問題；在租戶數(shù)據(jù)節(jié)點(diǎn)上，建立了基于鍵值對(duì)模式的租戶

14、邏輯索引，解決共享表存儲(chǔ)模式下租戶索引失效、定制能力不足等問題，提高了平臺(tái)數(shù)據(jù)服務(wù)的響應(yīng)速度。針對(duì)租戶數(shù)據(jù)尚無有效的多級(jí)別、細(xì)粒度的索引支持的問題，本文通過SaaS平臺(tái)租戶節(jié)點(diǎn)索引、租戶邏輯索引、關(guān)系數(shù)據(jù)庫物理索引三部分構(gòu)成了租戶多級(jí)索引模型。通過租戶節(jié)點(diǎn)索引解決了無法隨機(jī)訪問相關(guān)數(shù)據(jù)節(jié)點(diǎn)的問題，通過租戶邏輯索引滿足了租戶索引定制、隔離等需求，通過關(guān)系數(shù)據(jù)庫物理索引為邏輯索引提供高效訪問機(jī)制，保證了較高的查詢性能。針對(duì)租戶邏輯索引，本文