基于Hadoop的管道網(wǎng)絡分布式實時計算及應用.pdf

1、隨著社會的進步和科技的發(fā)展，在石油化工工業(yè)的領域，管道網(wǎng)絡通常是十分復雜的，并且管徑大小也是各不相同?，F(xiàn)場是通過管道網(wǎng)絡把這些不同的設備連接在一起，形成了一個巨大且復雜又相互有聯(lián)系的管網(wǎng)系統(tǒng)。像這種龐大而又復雜的管道網(wǎng)絡要進行系統(tǒng)的動態(tài)仿真，對于設計的計算平臺需要面對的是實時計算通用性，實時性和復雜性的問題。要實現(xiàn)實時性是十分困難的，所以本文從兩方面去實現(xiàn)實時性，一是設置適當?shù)某跏贾担@樣可以讓計算迭代的時候更加快速的收斂，二是程序設計

2、時引入智能體Agent的概念，利用現(xiàn)在比較成熟的分布式計算框架Hadoop去分布式計算迭代，縮短計算的時間。
　　首先，是有關初始值設置的問題。因為是采用圖論的方法去進行管道網(wǎng)絡的計算，現(xiàn)實情況無法達到實時計算的要求，所以采用了線性化初值設置的方法，將疊加原理用到管網(wǎng)初值設置的方法上，經(jīng)過簡單的估算可以得到與初始值相近的估算值。然后經(jīng)過大量的實驗驗證方法是可行的，很好縮短了迭代的次數(shù)，減少了計算所需要的時間。
　　其次，是分

3、布式管道網(wǎng)絡計算模型。采用圖論的方法進行管道網(wǎng)絡仿真的計算，對于石油化工現(xiàn)場的管網(wǎng)來說，可能會產(chǎn)生大矩陣。那么在計算迭代過程中，會涉及到大矩陣的運算。還有就是對于石油化工行業(yè)來說，這些龐大而又復雜的管網(wǎng)連接的是很多其它的設備。對于仿真平臺來說，如果把這些設備的計算都放到一臺計算機上，顯然計算機的運算量是不夠的。本文采用了現(xiàn)在比較成熟且開源的分布式計算框架Hadoop來進行管網(wǎng)圖論的運算，還可以利用Hadoop實現(xiàn)連接設備計算分配的負載均

4、衡，把大的計算量分配到集群中比較空閑的結(jié)點。
　　再次，本文所搭建的管網(wǎng)仿真平臺是給學生或者工人在線進行學習訓練的仿真平臺，BS架構(gòu)的分布式管網(wǎng)仿真平臺，服務器的是現(xiàn)在Nginx+tomcat搭建的分布式架構(gòu)服務器架構(gòu)，數(shù)據(jù)庫用的是Mysql+HBase，其中mysql作為關系型數(shù)據(jù)庫適合事務的處理，HBase是面向列的數(shù)據(jù)庫，存儲大量數(shù)據(jù)。在程序計算設計時引入Agent的概念，并且基于Agent進行建模和分類。
　　最后，