航天大數(shù)據(jù)平臺數(shù)據(jù)訂閱系統(tǒng)設(shè)計與實現(xiàn).pdf

1、當(dāng)前信息領(lǐng)域迎來跨越式發(fā)展，各種新技術(shù)和創(chuàng)新不斷的提升著人們的生活質(zhì)量，信息化使得各行業(yè)產(chǎn)生大量的數(shù)據(jù)，人們引入互聯(lián)網(wǎng)、大數(shù)據(jù)相關(guān)技術(shù)解決這些數(shù)據(jù)處理問題。航天領(lǐng)域作為關(guān)系國家命脈重點領(lǐng)域近年來更加信息化智能化，各類數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，傳統(tǒng)存儲模式和計算模式已經(jīng)不能很好的滿足海量航天數(shù)據(jù)的存儲、分析、可視化需求，從互聯(lián)網(wǎng)、大數(shù)據(jù)相關(guān)應(yīng)用得到啟發(fā)并將其引入航天領(lǐng)域解決數(shù)據(jù)分析處理的問題。航天領(lǐng)域數(shù)據(jù)類型多樣，每種數(shù)據(jù)的處理方式不同，通過構(gòu)

2、建航天大數(shù)據(jù)平臺完成數(shù)據(jù)高效安全存儲管理和快速的數(shù)據(jù)分析。不同航天科研機構(gòu)之間數(shù)據(jù)平臺相互獨立，數(shù)據(jù)之間不能完成有效共享，如何安全可靠的在不同大數(shù)據(jù)平臺之間完成數(shù)據(jù)共享成為一個問題。
　　本文研究通過數(shù)據(jù)訂閱系統(tǒng)來解決航天大數(shù)據(jù)平臺之間的數(shù)據(jù)共享問題，提升航天科技工作者協(xié)同進行數(shù)據(jù)分析處理的能力。在研究數(shù)據(jù)訂閱系統(tǒng)過程深入調(diào)研數(shù)據(jù)共享的業(yè)務(wù)需求和航天數(shù)據(jù)的特點，著力解決了不同航天大數(shù)據(jù)平臺之間的統(tǒng)一認證和授權(quán)問題，使得不同平臺形成

3、統(tǒng)一網(wǎng)絡(luò)，實現(xiàn)了滿足Cron Expression解析的任務(wù)調(diào)度系統(tǒng)滿足大量元信息同步、數(shù)據(jù)文件同步、身份信息同步等周期性任務(wù)調(diào)度問題，通過對分布式文件系統(tǒng) HDFS以及相應(yīng)數(shù)據(jù)元信息系統(tǒng)改造設(shè)計實現(xiàn)了大并發(fā)數(shù)據(jù)同步中心，滿足航天大數(shù)據(jù)平臺之間的可靠數(shù)據(jù)傳輸。數(shù)據(jù)共享系統(tǒng)滿足安全、快速、高效的需求。在系統(tǒng)實現(xiàn)過程中，針對數(shù)據(jù)訂閱系統(tǒng)面臨的問題逐一提出解決方案，通過引入SSO單點登錄技術(shù)對身份認證和用戶授權(quán)分離，實現(xiàn)統(tǒng)一身份認證中心，既解

4、決了不同大數(shù)據(jù)平臺之間相互訪問問題又保證平臺獨立安全。根據(jù)航天數(shù)據(jù)存儲特點設(shè)計了元信息實時同步、文件數(shù)據(jù)基于策略同步的分離模式，保證客戶端使用體驗，同時通過訂閱系統(tǒng)用戶能夠直接請求到被訂閱平臺后臺數(shù)據(jù)，數(shù)據(jù)同步中心基于TCP socket協(xié)議使用C/S模型完成并發(fā)度自適應(yīng)、加密安全、容錯的數(shù)據(jù)同步系統(tǒng)，對于訂閱數(shù)據(jù)類型為二進制使用MapReduce分布式計算解析處理結(jié)果的數(shù)據(jù)直接同步原始二進制文件在訂閱端解析處理來減少網(wǎng)絡(luò)通訊量。針對文

5、件同步、元信息實時同步、平臺各種定時調(diào)度任務(wù)的統(tǒng)一特性，引入Cron Exression定時任務(wù)語法設(shè)計實現(xiàn)統(tǒng)一任務(wù)調(diào)度系統(tǒng)，同時能夠滿足基于平臺狀態(tài)的MapReduce任務(wù)調(diào)度。系統(tǒng)由客戶端和大數(shù)據(jù)平臺組成，以RESTful服務(wù)方式發(fā)布訂閱系統(tǒng)的各種控制API。通過有效測試驗證了研究過程系統(tǒng)架構(gòu)設(shè)計的合理性，任務(wù)調(diào)度中心滿足大并發(fā)任務(wù)的均衡調(diào)度，元信息和數(shù)據(jù)文件能夠按照策略同步，數(shù)據(jù)訂閱系統(tǒng)能夠解決航天大數(shù)據(jù)平臺之間的數(shù)據(jù)共享問題。當(dāng)