分布式數(shù)據(jù)流管理系統(tǒng)中基于冗余的高可用性技術研究.pdf

1、隨著數(shù)據(jù)流應用的興起和發(fā)展，數(shù)據(jù)流管理中間件的設計與研究引起了廣泛的關注。一個良好的數(shù)據(jù)流管理中間件系統(tǒng)不僅能對數(shù)據(jù)流進行有效地管理，還應該具有較好的實時性、高可用性等特點。以往對數(shù)據(jù)流系統(tǒng)中高可用性的研究側重于對系統(tǒng)節(jié)點發(fā)生故障進行有效地恢復，通過對計算部件進行冗余備份實現(xiàn)系統(tǒng)節(jié)點故障時的軟件替換，保證系統(tǒng)繼續(xù)運行。然而這些研究沒有從運算子冗余度角度考慮怎樣最大限度的提高系統(tǒng)的高可用性。本文以東南大學計算機科學與工程學院自主研發(fā)的Ne

2、bula系統(tǒng)為平臺，研究分布式數(shù)據(jù)流管理中間件系統(tǒng)中基于冗余的高可用性技術。
　　 提高系統(tǒng)冗余度可以增強可用性，然而受實際負載條件限制，當系統(tǒng)運行負載較重時，無法將冗余度提升至理想值。針對該情況，本文的主要目標是通過研究系統(tǒng)負載和冗余度的關系，在可承受的負載限制條件下尋找到系統(tǒng)能達到的最大冗余度，增強系統(tǒng)可用性。本文首先給出實現(xiàn)高可用性的Nebula系統(tǒng)(Nebula HA)的整體架構設計，進一步研究了Nebula HA的故障

3、恢復模型以保證系統(tǒng)在發(fā)生計算節(jié)點故障時進行快速正確地恢復。隨后本文針對Nebula HA系統(tǒng)提出了一套負載評估理論模型，對計算節(jié)點及冗余備份負載消耗做有效估算，用于冗余度的選取和冗余備份。通過負載估算構造出系統(tǒng)冗余度與冗余負載的關系曲線，并在曲線上尋找系統(tǒng)負載限制條件內(nèi)的最大冗余度值，盡可能地提高了系統(tǒng)冗余度。最后，通過原型系統(tǒng)及仿真實驗證明，系統(tǒng)以最大冗余度實施備份并運行，在可承受的性能下降范圍內(nèi)最大限度地增強了系統(tǒng)應對節(jié)點故障的能力