多聯(lián)機(jī)大數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著人類社會(huì)從以控制為出發(fā)點(diǎn)的IT時(shí)代邁向以激活生產(chǎn)力為目的DT（data technology）時(shí)代，越來(lái)越多的企業(yè)意識(shí)到數(shù)據(jù)背后的巨大價(jià)值，紛紛投入大量的資金和人才推動(dòng)大數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)。本項(xiàng)目是某機(jī)電企業(yè)委托華中科技大學(xué)計(jì)算機(jī)學(xué)院研發(fā)的一個(gè)系統(tǒng)，它需要完成針對(duì)海量監(jiān)控?cái)?shù)據(jù)的采集、傳輸、存儲(chǔ)、索引和檢索等任務(wù)。本文以此為基礎(chǔ)抽象出各模塊需要解決的一般性問(wèn)題，構(gòu)建出了一個(gè)適用于傳統(tǒng)制造業(yè)的大數(shù)據(jù)管理系統(tǒng)模型。
　　本文首先介紹

2、了與系統(tǒng)設(shè)計(jì)相關(guān)的理論基礎(chǔ)和關(guān)鍵技術(shù)，包括非阻塞通信、負(fù)載均衡技術(shù)、ZooKeeper和HBase等。然后對(duì)系統(tǒng)進(jìn)行了需求分析，明確了系統(tǒng)的設(shè)計(jì)目標(biāo)和需要實(shí)現(xiàn)的功能，從整體上介紹了系統(tǒng)架構(gòu)及業(yè)務(wù)流程并按功能模塊對(duì)系統(tǒng)進(jìn)行了劃分，主要包括GPRS模塊、服務(wù)端數(shù)據(jù)接收模塊、服務(wù)端數(shù)據(jù)解析模塊、軟負(fù)載中心模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)查詢模塊。接著，介紹了各模塊的實(shí)現(xiàn)方案，使用非阻塞IO實(shí)現(xiàn)數(shù)據(jù)傳輸模塊、使用ZooKeeper構(gòu)建負(fù)載均衡模塊、使用