基于內(nèi)容的彈性可擴(kuò)展發(fā)布-訂閱技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)成為無處不在的計算和存儲服務(wù)平臺，如何把數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)快速準(zhǔn)確地分發(fā)至具有不同興趣的大規(guī)模用戶群體是當(dāng)前亟需解決的關(guān)鍵技術(shù)問題。基于內(nèi)容的發(fā)布/訂閱因其松耦合的通訊模式適用于大規(guī)模分布式系統(tǒng)且為用戶提供了強(qiáng)大的語義表達(dá)能力，正成為實(shí)現(xiàn)數(shù)據(jù)分發(fā)的主要模式。近年來，基于內(nèi)容的發(fā)布/訂閱模式已被廣泛應(yīng)用于地震監(jiān)控、災(zāi)難天氣預(yù)報、股票更新、社交網(wǎng)絡(luò)、流媒體以及在線網(wǎng)絡(luò)游戲等應(yīng)急事件響應(yīng)系統(tǒng)中。當(dāng)前應(yīng)急事件響應(yīng)系統(tǒng)呈現(xiàn)出以下特征。一是

2、實(shí)時數(shù)據(jù)大規(guī)模產(chǎn)生、高速到達(dá)且結(jié)構(gòu)復(fù)雜，這要求所設(shè)計的基于內(nèi)容的發(fā)布/訂閱方法具有高擴(kuò)展能力以保證數(shù)據(jù)快速到達(dá)感興趣的用戶。二是實(shí)時數(shù)據(jù)的到達(dá)速率可能在短時間內(nèi)急劇變化，這要求所設(shè)計的基于內(nèi)容的發(fā)布/訂閱方法能夠根據(jù)系統(tǒng)工作負(fù)載彈性地調(diào)整服務(wù)能力以保證低分發(fā)延遲和高性價比。然而，已有的基于內(nèi)容的發(fā)布/訂閱系統(tǒng)難以同時滿足可擴(kuò)展性和彈性的要求。為了實(shí)現(xiàn)基于內(nèi)容的彈性可擴(kuò)展發(fā)布/訂閱服務(wù)，當(dāng)前面臨的技術(shù)挑戰(zhàn)主要包括以下三個方面。首先，在基于

3、內(nèi)容的發(fā)布/訂閱系統(tǒng)中，事件匹配技術(shù)能夠有效地過濾出對事件不感興趣的訂閱者，從而降低數(shù)據(jù)分發(fā)延遲。然而當(dāng)前復(fù)雜訂閱模式的事件匹配吞吐率會隨著訂閱規(guī)模的增長而顯著下降；動態(tài)網(wǎng)絡(luò)環(huán)境下面向高維數(shù)據(jù)的事件匹配吞吐率較低，且事件丟失概率較高。其次，在基于內(nèi)容的發(fā)布/訂閱系統(tǒng)中，高效的事件路由技術(shù)是保證數(shù)據(jù)分發(fā)實(shí)時性的重要因素。然而，大數(shù)據(jù)塊分發(fā)中上傳帶寬存在性能瓶頸。再次，在基于內(nèi)容的發(fā)布/訂閱系統(tǒng)中，高效的事件全排序技術(shù)能夠快速檢測出相互沖突

4、的事件，從而降低數(shù)據(jù)分發(fā)延遲。然而已有大規(guī)模事件全排序方法的全排序效率較低，導(dǎo)致較高的數(shù)據(jù)分發(fā)延遲。為此，本文圍繞實(shí)現(xiàn)基于內(nèi)容的彈性可擴(kuò)展發(fā)布/訂閱服務(wù)這一目標(biāo)，分別針對基于內(nèi)容的發(fā)布/訂閱模式中的事件匹配、事件路由和事件全排序技術(shù)展開深入研究。
　　復(fù)雜訂閱模式的事件匹配效率受訂閱規(guī)模的影響較大，匹配吞吐率會隨著訂閱規(guī)模的增長而顯著下降。為此，本文研究提出了一種面向復(fù)雜訂閱模式的通用可擴(kuò)展彈性的事件匹配方法 GSEM，以適應(yīng)訂閱

5、規(guī)模的快速增長，有效保證匹配吞吐率。GSEM在云計算環(huán)境中采用一種兩跳查詢拓?fù)渥鳛槭录ヅ涞耐ㄓ每蚣?。利用該框架的“分?匯聚”機(jī)制，多種復(fù)雜模式的訂閱能夠被轉(zhuǎn)換成同一種通用訂閱模式以簡化事件匹配過程。通過一種層次式內(nèi)容空間劃分技術(shù)，GSEM將大規(guī)模偏斜訂閱分派到多個規(guī)模均衡的簇中，各個簇利用一致性哈希方法被均勻地映射到匹配節(jié)點(diǎn)中以實(shí)現(xiàn)并行事件匹配。為了自適應(yīng)工作負(fù)載的波動，GSEM采用一種等待延遲感知的匹配節(jié)點(diǎn)供應(yīng)算法彈性地調(diào)整匹配吞

6、吐率以保證較高性價比?；贑loudStack平臺的原型系統(tǒng)顯示，GSEM隨著服務(wù)節(jié)點(diǎn)數(shù)目和分割粒度的增長而具有線性增長的匹配吞吐率，能夠以較小的延遲和通信開銷而彈性地調(diào)整匹配吞吐率并容忍大規(guī)模節(jié)點(diǎn)失效。相對于已有方法，GSEM的匹配節(jié)點(diǎn)具有更均衡的工作負(fù)載，且在多種不同參數(shù)設(shè)置情況下都具有更高的匹配吞吐率。
　　動態(tài)網(wǎng)絡(luò)環(huán)境下的高維數(shù)據(jù)分發(fā)存在明顯的事件匹配吞吐率較低、事件丟失概率較大等問題，本文提出了一種面向高維數(shù)據(jù)的可擴(kuò)展可

7、靠事件匹配方法——SREM。SREM在云計算環(huán)境中采用一種基于多層隨機(jī)圖的覆蓋網(wǎng) SkipCloud維護(hù)節(jié)點(diǎn)之間的鄰居關(guān)系。SkipCloud中各層節(jié)點(diǎn)間的前綴關(guān)系能夠支持高效路由，層內(nèi)節(jié)點(diǎn)間周期性交換鄰居列表以保證網(wǎng)絡(luò)拓?fù)涞目煽啃?。通過一種混合式內(nèi)容空間劃分算法，SREM將大規(guī)模高維度的偏斜訂閱映射到多個子空間中從而在匹配可靠性和內(nèi)存開銷之間充分權(quán)衡，每個子空間采用層次式內(nèi)容空間劃分技術(shù)以保證高匹配吞吐率。在各種不同參數(shù)配置情況下，基

8、于 CloudStack平臺的原型系統(tǒng)顯示在SkipCloud中路由事件的通信開銷相比Chord覆蓋網(wǎng)降低了60％，SREM的事件匹配吞吐率相比BlueDove最少提高3.7倍，最多提高40.4倍。另外，SREM在大量節(jié)點(diǎn)失效時能夠在數(shù)十秒內(nèi)將事件失效率降低至0。
　　針對大數(shù)據(jù)塊分發(fā)中存在的上傳帶寬瓶頸問題，本文提出了一種面向大數(shù)據(jù)塊的可擴(kuò)展彈性事件路由方法——SEER。SEER在云計算環(huán)境中采用一種混合式雙層拓?fù)湟员ＷC事件匹配

9、服務(wù)和事件路由服務(wù)能夠并行執(zhí)行。其中上層拓?fù)洳捎肎SEM以實(shí)現(xiàn)通用可擴(kuò)展彈性的事件匹配，同時多個輔助節(jié)點(diǎn)被組織成樹狀拓?fù)湟员ＷC大塊事件路由的實(shí)時性。下層拓?fù)渲校嗛喺弑粍澐殖啥鄠€簇，每個簇由一個輔助節(jié)點(diǎn)管理。通過一種基于輔助節(jié)點(diǎn)的內(nèi)容分發(fā)算法，輔助節(jié)點(diǎn)同時扮演提供者和協(xié)調(diào)者兩種角色以充分開發(fā)系統(tǒng)的上傳能力。作為提供者，輔助節(jié)點(diǎn)主動將數(shù)據(jù)塊轉(zhuǎn)發(fā)給感興趣的訂閱節(jié)點(diǎn)；作為協(xié)調(diào)者，輔助節(jié)點(diǎn)通過獲取訂閱者的下載完成信息以指導(dǎo)不同訂閱者相互交換已接

10、收到的數(shù)據(jù)塊。為了自適應(yīng)系統(tǒng)工作負(fù)載的波動，SEER采用一種數(shù)據(jù)量感知的輔助節(jié)點(diǎn)供應(yīng)技術(shù)以保證低分發(fā)延遲和高性價比?；贑loudStack平臺的原型系統(tǒng)顯示，SEER在分發(fā)大數(shù)據(jù)塊時能夠隨服務(wù)節(jié)點(diǎn)數(shù)目的增長而線性地降低數(shù)據(jù)分發(fā)完成時間，能夠根據(jù)待分發(fā)數(shù)據(jù)量的變化在數(shù)十秒內(nèi)彈性地調(diào)整系統(tǒng)上傳能力，能夠在大規(guī)模節(jié)點(diǎn)頻繁波動或失效情況下仍然保證可靠的數(shù)據(jù)分發(fā)。與已有的最新方法相比，SEER的混合式雙層拓?fù)渚哂懈玫目蓴U(kuò)展能力，輔助節(jié)點(diǎn)之間具

11、有更好的負(fù)載均衡能力，且在不同參數(shù)配置情況下都具有更短的分發(fā)完成時間。
　　針對大規(guī)模事件全排序存在的全排序效率較低的問題，本文提出了一種面向高速到達(dá)事件的可擴(kuò)展彈性事件全排序方法——SETO。SETO在云計算環(huán)境中采用一種雙層拓?fù)浣Y(jié)構(gòu)以保證事件匹配服務(wù)和事件全排序服務(wù)能夠并行執(zhí)行。其中上層拓?fù)洳捎肎SEM組織服務(wù)節(jié)點(diǎn)以實(shí)現(xiàn)高效的事件匹配，下層拓?fù)洳捎脴錉罡采w網(wǎng)組織排序節(jié)點(diǎn)以保證事件路由的實(shí)時性。在每個排序節(jié)點(diǎn)上，SETO采用一種

12、前序圖構(gòu)建技術(shù)以保證較低的事件分發(fā)延遲。在該前序圖構(gòu)建技術(shù)中，服務(wù)節(jié)點(diǎn)以較低的計算開銷構(gòu)建并消解沖突事件之間的前序關(guān)系，從而使非沖突事件能夠并行提交至相應(yīng)的訂閱節(jié)點(diǎn)。利用一種提交延遲感知的排序節(jié)點(diǎn)供應(yīng)技術(shù)，SETO能夠彈性地調(diào)整服務(wù)節(jié)點(diǎn)規(guī)模以自適應(yīng)工作負(fù)載的波動。基于 CloudStack平臺的原型系統(tǒng)顯示，在事件高速到達(dá)時，SETO能夠在不同的工作負(fù)載環(huán)境下保持較高的事件提交并發(fā)度，能夠隨服務(wù)節(jié)點(diǎn)數(shù)目的增長而線性地降低事件分發(fā)延遲，能