云隊列-一個基于Hadoop的大規(guī)模消息基礎平臺.pdf

1、隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式的增長，使得為了處理這些海量的數(shù)據(jù)，需要構建更加龐大、更加復雜、更加靈活的分布式系統(tǒng)，系統(tǒng)間的通訊與協(xié)作就變得至關重要。面向消息的中間件(MOM)利用高效可靠的消息傳遞機制進行平臺無關的數(shù)據(jù)交流，屏蔽了不同系統(tǒng)之間的軟硬件的差異，使得不同系統(tǒng)間的通信和數(shù)據(jù)交換透明化。但是，隨著物聯(lián)網(wǎng)的發(fā)展，更多的設備需要接入互聯(lián)網(wǎng)，傳統(tǒng)的面向消息中間件顯然在規(guī)模和可靠性方面已經(jīng)不能很好地滿足當前大規(guī)模、跨數(shù)據(jù)

2、中心的分布式系統(tǒng)間通訊的要求。
　　 Hadoop是一個開源的云計算開發(fā)框架，是一個在由通用和商用計算設備組成的大型集群上執(zhí)行分布式應用的框架，可以為應用程序提供穩(wěn)定可靠的接口，構建一個具有高可靠性和良好擴展性的分布式系統(tǒng)。
　　 本文基于從當前分布式系統(tǒng)消息通信的需求出發(fā)，并結合Hadoop云計算平臺，提出了一個面向Internet規(guī)模的、高性能和高可靠的消息隊列服務平臺--云隊列(Cloudqueue)。通過云隊列平

3、臺所提供的消息服務實現(xiàn)異步通訊、存儲轉發(fā)、可靠傳輸、跨互聯(lián)網(wǎng)等特性，云隊列可以在云計算時代為應用程序提供高性能、高可靠、大容量的面向互聯(lián)網(wǎng)的消息傳遞服務。
　　 文章從現(xiàn)實需求出發(fā)，在分析了消息中間件的相關基礎知識和Hadoop關鍵技術的基礎之上，提出了云隊列系統(tǒng)的設計目標與整體架構，然后，通過分析相關的關鍵技術，提出了云隊列的技術架構和對象模型。最后，本文詳細地介紹了云隊列的具體實現(xiàn)和相關接口的定義。
　　 最后，通過