基于MooseFS工業(yè)采集數(shù)據(jù)云存儲系統(tǒng)研究.pdf

1、隨著internet的發(fā)展以及物聯(lián)網(wǎng)和云計算的興起，構建工業(yè)物聯(lián)網(wǎng)成為工業(yè)現(xiàn)代化發(fā)展的必然趨勢。企業(yè)的工業(yè)控制網(wǎng)絡和信息網(wǎng)絡的融合成為關鍵技術，面對海量數(shù)據(jù)管理困難、高數(shù)據(jù)存儲成本高、安全可靠性難以保證、擴展性較低等難題，明智企業(yè)會選擇搭建工業(yè)私有云存儲系統(tǒng)，采用分布式采集和管理系統(tǒng)，利用云存儲的高通用性、高擴展性、高可靠性以及海量存儲等特性。工業(yè)采集數(shù)據(jù)云存儲解決方案可以有效解決存儲和數(shù)據(jù)挖掘問題。
　　本文采用MooseFS(

2、MFS)搭建了工業(yè)采集數(shù)據(jù)云存儲系統(tǒng)并對MFS代碼進行了詳細分析，提出存儲節(jié)點同時作為計算節(jié)點的設計思想。針對海量工業(yè)采集數(shù)據(jù)難以存儲的問題，設計了專門的分布式存儲算法，提供了專用接口存儲工業(yè)數(shù)據(jù)。在云存儲系統(tǒng)中查詢海量工業(yè)數(shù)據(jù)需要消耗大量時間和資源，本文設計的定時數(shù)據(jù)并行分布式查詢算法可以極大縮短查詢時間和提高資源利用率；在海量隨機數(shù)據(jù)查詢過程中，查詢效率也成為關鍵難題，本文設計的分布式索引算法和隨機數(shù)據(jù)并行分布式算法提高了查詢效率。

3、
　　本文的創(chuàng)新成果主要有：
　　(1)提出工業(yè)采集數(shù)據(jù)云存儲解決方案，把云存儲資源池作為工業(yè)數(shù)據(jù)計算資源池，將存儲節(jié)點同時作為計算節(jié)點，計算節(jié)點主要實現(xiàn)建立分布式索引、完成并行分布式查詢?nèi)蝿盏裙δ埽?br>　　(2)在工業(yè)數(shù)據(jù)云存儲系統(tǒng)上進行數(shù)據(jù)挖掘：建立隨機數(shù)據(jù)索引、實現(xiàn)大規(guī)模定時工業(yè)數(shù)據(jù)查詢和隨機工業(yè)數(shù)據(jù)查詢；
　　(3)本文設計的系統(tǒng)繼承云存儲系統(tǒng)的動態(tài)擴容特性，系統(tǒng)可以部署在3臺到1萬臺的不同規(guī)模集群環(huán)境，同