國家稅務總局數(shù)據(jù)治理平臺的設計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)、云計算由于其技術的先進性，越來越被企事業(yè)單位所重視，因此，搭建自己的大數(shù)據(jù)云平臺也成為了各企事業(yè)單位的首選。國稅總局為了充分利用大數(shù)據(jù)的數(shù)據(jù)分析能力和云計算的資源共享能力，而搭建了總局自己的大數(shù)據(jù)云平臺，并在該平臺上開發(fā)了大數(shù)據(jù)分析系統(tǒng)。由于該系統(tǒng)要處理的數(shù)據(jù)量過于龐大，并且數(shù)據(jù)資源種類繁多，所以，急需建設數(shù)據(jù)治理平臺來對這些數(shù)據(jù)進行管理工作，因此，數(shù)據(jù)治理平臺的設計與實現(xiàn)被提上了工作日程。
　　數(shù)據(jù)

2、治理平臺主要包括三個應用功能和一個數(shù)據(jù)服務功能。數(shù)據(jù)服務功能由元數(shù)據(jù)采集與服務功能模塊組成，主要是在運行在后臺，做數(shù)據(jù)加工、處理的工作。三個應用功能包括數(shù)據(jù)資產(chǎn)管理功能模塊、數(shù)據(jù)安全管理功能模塊、數(shù)據(jù)質(zhì)量管理功能模塊。數(shù)據(jù)資產(chǎn)管理功能模塊是對大數(shù)據(jù)分析系統(tǒng)中的數(shù)據(jù)資源進行管理并展示，同時也對大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)加工情況進行監(jiān)控的模塊。數(shù)據(jù)安全管理功能模塊是對大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)進行安全方面的管理，包括對敏感數(shù)據(jù)進行安全級別定義和監(jiān)控應用

3、功能訪問記錄等安全相關的管理工作。數(shù)據(jù)質(zhì)量管理功能模塊是對大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)加工過程中，可能出現(xiàn)的數(shù)據(jù)質(zhì)量方面的問題，例如數(shù)據(jù)加工口徑與應用口徑不一致，數(shù)據(jù)加工質(zhì)量低等問題，進行監(jiān)控和管理的功能模塊。由三個應用功能和一個數(shù)據(jù)服務功能構成的數(shù)據(jù)治理平臺，和大數(shù)據(jù)分析系統(tǒng)是相輔相成、互利共生一樣的關系。數(shù)據(jù)治理平臺從技術上對大數(shù)據(jù)分析系統(tǒng)進行監(jiān)控和管理，同時也減輕了用戶對于數(shù)據(jù)治理工作的勞動強度。
　　本課題重點對數(shù)據(jù)治理平臺建設過

4、程中的系統(tǒng)需求確定，各項技術的選擇和系統(tǒng)的實現(xiàn)進行了全方位的闡述和總結。本課題在需求分析和系統(tǒng)概要設計階段，采用面向?qū)ο蟮乃枷?，結合各種系統(tǒng)和網(wǎng)絡架構，對數(shù)據(jù)治理平臺進行設計。在系統(tǒng)詳細設計階段根據(jù)相關業(yè)務來設計系統(tǒng)應用功能，并根據(jù)相關應用功能進行數(shù)據(jù)庫的設計工作。在系統(tǒng)開發(fā)階段，采用JavaEE和MySQL數(shù)據(jù)庫等技術，利用統(tǒng)一研發(fā)規(guī)范準則開展軟件開發(fā)工作，保障了系統(tǒng)代碼的統(tǒng)一性、可讀性、易擴展性和可維護性。在系統(tǒng)的測試階段，依據(jù)各項