基于Node-red與Redis的實(shí)時(shí)流數(shù)據(jù)處理模型的設(shè)計(jì)與應(yīng)用.pdf

1、近年來(lái)，隨著云計(jì)算、物聯(lián)網(wǎng)、社交媒體等新興信息技術(shù)和應(yīng)用模式的快速發(fā)展，人類(lèi)社會(huì)不斷地向大數(shù)據(jù)時(shí)代邁進(jìn)。大數(shù)據(jù)時(shí)代下的流式數(shù)據(jù)呈現(xiàn)出實(shí)時(shí)性、突發(fā)性、無(wú)序性等特點(diǎn)，這對(duì)流式數(shù)據(jù)處理系統(tǒng)就有了更高更嚴(yán)格的要求。如今，現(xiàn)有的實(shí)時(shí)流數(shù)據(jù)處理系統(tǒng)通常面臨著業(yè)務(wù)擴(kuò)展困難、數(shù)據(jù)流管理困難的問(wèn)題，本文旨在解決實(shí)時(shí)流數(shù)據(jù)處理中所面臨的這兩大問(wèn)題，在保證數(shù)據(jù)處理的實(shí)時(shí)性和高效性的前提下，提出了一套新的基于 Node-red的數(shù)據(jù)流管理和 Redis內(nèi)存計(jì)算

2、的實(shí)時(shí)流數(shù)據(jù)處理模型。
　　本文從總體架構(gòu)上對(duì)該模型進(jìn)行設(shè)計(jì)，重新設(shè)計(jì)了Node-red的數(shù)據(jù)輸入節(jié)點(diǎn)、數(shù)據(jù)輸出節(jié)點(diǎn)、數(shù)據(jù)處理節(jié)點(diǎn)以及 Redis數(shù)據(jù)庫(kù)訪問(wèn)節(jié)點(diǎn)，各個(gè)節(jié)點(diǎn)的開(kāi)發(fā)使用Node.js異步編程語(yǔ)言，節(jié)點(diǎn)之間的通信是通過(guò)Redis的pub/sub機(jī)制以及Node.js的socket.io來(lái)完成。最后將這些節(jié)點(diǎn)重新安裝部署到Node-red中，使其成為一個(gè)完整的實(shí)時(shí)流數(shù)據(jù)處理模型。在實(shí)時(shí)流數(shù)據(jù)處理過(guò)程中，經(jīng)常會(huì)遇到最大值、最

3、小值、累計(jì)求和、top(n)等數(shù)據(jù)指標(biāo)的計(jì)算，而計(jì)算這些指標(biāo)的基礎(chǔ)就是去重統(tǒng)計(jì)，本文通過(guò)分析Redis有序集合的源碼，結(jié)合Skip List的基本原理，提出了基于Redis有序集合的去重統(tǒng)計(jì)方法，并通過(guò)新設(shè)計(jì)的Redis數(shù)據(jù)庫(kù)訪問(wèn)節(jié)點(diǎn)實(shí)現(xiàn)該方法在實(shí)時(shí)流數(shù)據(jù)處理模型中的應(yīng)用。
　　實(shí)時(shí)流數(shù)據(jù)處理模型設(shè)計(jì)完成之后，一個(gè)重要任務(wù)就是對(duì)模型進(jìn)行應(yīng)用驗(yàn)證，因此本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)時(shí)的網(wǎng)站訪問(wèn)監(jiān)控系統(tǒng)，并利用該模型對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，最終將

4、分析結(jié)果展示在前端可視化界面上。該系統(tǒng)主要包括三個(gè)模塊，實(shí)時(shí)數(shù)據(jù)采集模塊、實(shí)時(shí)數(shù)據(jù)分析模塊以及數(shù)據(jù)可視化模塊，其中，實(shí)時(shí)數(shù)據(jù)分析模塊是利用本文所設(shè)計(jì)的實(shí)時(shí)流數(shù)據(jù)處理模型來(lái)實(shí)現(xiàn)的，數(shù)據(jù)可視化模塊是利用Node.js的express框架實(shí)現(xiàn)的一個(gè)web應(yīng)用，用戶只需在瀏覽器上登錄就可以訪問(wèn)監(jiān)控頁(yè)面，同時(shí)利用highcharts將數(shù)據(jù)可視化模塊中的圖表組件化，以此來(lái)適應(yīng)因業(yè)務(wù)的不斷擴(kuò)展而帶來(lái)的數(shù)據(jù)多樣化。本文最后對(duì)設(shè)計(jì)的系統(tǒng)進(jìn)行了功能測(cè)試和性