制造物聯(lián)海量實時數(shù)據(jù)處理方法研究.pdf

1、制造技術與迅猛發(fā)展的互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)等新一代信息技術相融合，不斷形成制造業(yè)信息化新的核心技術，推動著制造業(yè)的進步和發(fā)展，也為我國制造業(yè)的跨越式發(fā)展提供了難得的歷史機遇。應用物聯(lián)網(wǎng)技術提升傳統(tǒng)制造業(yè)，形成推動制造業(yè)信息化發(fā)展的制造物聯(lián)技術，是先進制造技術、信息技術和智能技術的集成和深度融合，體現(xiàn)了制造技術從機械化、自動化、數(shù)字化走向智能化的發(fā)展趨勢。大力推進制造物聯(lián)技術與生產(chǎn)過程的融合，促進制造過程的智能化提升和改造，催生高端制造先

2、進的生產(chǎn)模式，形成我國制造業(yè)的“智慧制造”，是當前制造行業(yè)研究的一個重點領域。在制造物聯(lián)關鍵技術中，研究制造過程產(chǎn)生的海量數(shù)據(jù)的實時感知、實時傳輸與分發(fā)、實時處理與融合等，對制造過程的實時決策及實時控制，確保企業(yè)生產(chǎn)安全有序進行、及時決策、提高效率、減少損失非常重要，也為我國制造業(yè)改變當前過于依賴國外實時數(shù)據(jù)處理產(chǎn)品打下基礎。
　　本文對現(xiàn)有信息技術、制造業(yè)信息化及物聯(lián)網(wǎng)等相關領域研究進展進行分析，研究制造物聯(lián)海量實時感知數(shù)據(jù)的建

3、模及處理方法，針對制造系統(tǒng)的特性、制造物聯(lián)關鍵技術及制造環(huán)節(jié)實時監(jiān)控需求等方面的特點，深入分析所涉及到的若干關鍵問題，研究新的或改進的方法，并將這些方法應用到具體的制造環(huán)境中。論文主要研究工作及成果如下：
　?、偬岢隽酥圃煳锫?lián)實時數(shù)據(jù)的定義，對實時數(shù)據(jù)進行基礎理論建模。對實時數(shù)據(jù)的采集過程進行了研究，分析探討了實時數(shù)據(jù)獲取和存儲的關鍵技術，提出了制造物聯(lián)實時數(shù)據(jù)的獲取模型。分析了實時數(shù)據(jù)傳輸和分發(fā)中的挑戰(zhàn)，提出了海量實時數(shù)據(jù)連續(xù)查

4、詢模型，并通過優(yōu)化訪問方法，給出了自適應分布式制造物聯(lián)實時數(shù)據(jù)的訪問模型，以解決突發(fā)數(shù)據(jù)和非勻速實時數(shù)據(jù)的傳輸訪問問題。
　　②基于內存的實時數(shù)據(jù)庫的存儲機制研究。分析了內存數(shù)據(jù)庫的特點、相關概念及技術，針對內存數(shù)據(jù)庫的數(shù)據(jù)組織、查詢技術與優(yōu)化、并發(fā)控制和恢復機制等方面進行研究，采用基于CSB+樹的索引方法，以快速定位索引實時數(shù)據(jù)；提出了一種新型的基于虛擬單元可智能增長的內存池技術，滿足內存數(shù)據(jù)庫系統(tǒng)對空間利用率和系統(tǒng)健壯性要求；

5、基于智能算法，提出了海量連續(xù)實時數(shù)據(jù)的查詢技術與優(yōu)化算法；為解決實時事務在并發(fā)執(zhí)行過程中所發(fā)生的各種沖突，采用了并行實時事務標記排序法，并利用定義優(yōu)先級算法對排序算法進行優(yōu)化，解決排序算法中的優(yōu)先級顛倒的問題。論文提出了一種基于元數(shù)據(jù)層次化結構的實時系統(tǒng)數(shù)據(jù)模型，以便更快捷地訪問實時數(shù)據(jù)對象。該模型對制造物聯(lián)實時感知數(shù)據(jù)進行層次劃分，通過元數(shù)據(jù)映射，完成實時數(shù)據(jù)的有效組織，有效實現(xiàn)實時數(shù)據(jù)檢索，提高效率?；谠獢?shù)據(jù)的層次結構，制定了實時

6、感知數(shù)據(jù)與超過時限的歷史數(shù)據(jù)之間互相遷移的策略，并對該策略進行性能評估。各種仿真及測試運行結果表明，基于內存的實時數(shù)據(jù)庫分層存儲機制能有效進行數(shù)據(jù)組織，滿足制造物聯(lián)中海量實時數(shù)據(jù)的存儲需求。
　?、墼O計并實現(xiàn)一種新的實時數(shù)據(jù)訪問協(xié)議，以提高制造物聯(lián)實時數(shù)據(jù)系統(tǒng)的相關性能。設計了基于雙緩沖區(qū)和推進發(fā)送數(shù)據(jù)的數(shù)據(jù)存儲和發(fā)送模型。雙緩沖區(qū)模型中的兩個緩沖區(qū)交替接收感知數(shù)據(jù)，將實時數(shù)據(jù)并發(fā)進行處理，有效利用內存接收處理海量數(shù)據(jù)。數(shù)據(jù)的連續(xù)

7、推進發(fā)送模式，同雙緩沖區(qū)結合，可以在不同網(wǎng)絡阻塞環(huán)境下保證數(shù)據(jù)的完整性。建立性能模型驗證實時數(shù)據(jù)分發(fā)模型的性能，并實現(xiàn)了實時數(shù)據(jù)檢測與處理系統(tǒng)的原型系統(tǒng)。仿真實驗結果證明模型在保證數(shù)據(jù)完整性方面有著非常出色的表現(xiàn)?；陔p緩沖區(qū)和推進發(fā)送數(shù)據(jù)的模型解決了數(shù)據(jù)在采集和發(fā)送過程中出現(xiàn)的數(shù)據(jù)丟失問題，有效地保證了數(shù)據(jù)傳輸處理的完整性。為了優(yōu)化制造物聯(lián)海量實時數(shù)據(jù)分發(fā)效率，研究并提出了一種基于智能多代理模型和優(yōu)先級排序算法的實時數(shù)據(jù)分發(fā)策略，性能

8、分析證明該方法能進一步提高海量實時數(shù)據(jù)分發(fā)效率。
　?、芊治隽酥圃煳锫?lián)海量實時數(shù)據(jù)融合的功能模型和通用處理結構，提出了在資源受限網(wǎng)絡環(huán)境下對實時感知數(shù)據(jù)進行融合的方法，研究了基于u檢驗法的剔除冗余無效數(shù)據(jù)的融合系統(tǒng)，并將融合算法應用在分布式檢測環(huán)境下，對融合模型進行優(yōu)化?；谛螒B(tài)-小波濾波融合方法，對旋轉機械的振動信號檢測過程中產(chǎn)生的脈沖噪聲和白噪聲進行去噪研究，實驗證明該方法有很好的去噪效果，在實際振動信號處理中取得了滿意的效果

9、。
　　⑤提出了制造物聯(lián)海量實時數(shù)據(jù)處理方法在石化行業(yè)運營管理及安全監(jiān)控系統(tǒng)中的應用方案。對實時感知的海量數(shù)據(jù)，以分層的實時數(shù)據(jù)模型進行組織和管理，并以雙緩沖區(qū)數(shù)據(jù)持續(xù)推送模型對實時數(shù)據(jù)傳輸分發(fā)，對本地感知數(shù)據(jù)實時融合處理，形成石化企業(yè)加氣站生產(chǎn)運營實時監(jiān)管物聯(lián)平臺，實現(xiàn)了對監(jiān)管平臺的性能優(yōu)化和改進。
　　綜上，本文分析并研究了當前制造物聯(lián)海量實時數(shù)據(jù)處理中面臨的若干關鍵問題，設計并改進了一系列模型和算法。理論分析、實驗及應