大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略

1、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略信息時代，數(shù)據(jù)已經(jīng)慢慢成為一種資產(chǎn)，數(shù)據(jù)質(zhì)量成為決定資產(chǎn)優(yōu)劣的一個重要方面。隨著大數(shù)據(jù) 大數(shù)據(jù)的發(fā)展，越來越豐富的數(shù)據(jù)給數(shù)據(jù)質(zhì)量的提升帶來了新的挑戰(zhàn)和困難。提出一種數(shù)據(jù)質(zhì)量策略，從建立數(shù)據(jù)質(zhì)量評價體系、落實(shí)質(zhì)量信息的采集分析與監(jiān)控、建立持續(xù)改進(jìn)的工作機(jī)制和完善元數(shù)據(jù)管理４個方面，多方位優(yōu)化改進(jìn)，最終形成一套完善的 質(zhì)量 質(zhì)量管理 管理體系，為信息系統(tǒng)提供高質(zhì)量的數(shù)據(jù)支持。１

2、信息系統(tǒng)數(shù)據(jù)質(zhì)量 信息系統(tǒng)數(shù)據(jù)質(zhì)量信息由數(shù)據(jù)構(gòu)成，數(shù)據(jù)是信息的基礎(chǔ)，數(shù)據(jù)已經(jīng)成為一種重要資源。對于企業(yè)而言，進(jìn)行市場情報(bào)調(diào)研、客戶關(guān)系維護(hù)、財(cái)務(wù)報(bào)表展現(xiàn)、戰(zhàn)略決策支持等，都需要信息系統(tǒng)進(jìn)行數(shù)據(jù)的搜集、分析、知識發(fā)現(xiàn)，為決策者提供充足且準(zhǔn)確的情報(bào)和資料。對于政府而言，進(jìn)行社會管理和公共服務(wù)，影響面更為寬廣和深遠(yuǎn)，政策和服務(wù)能否滿足社會需要，是否高效地使用了公共資源，都需要數(shù)據(jù)提供支持和保障，因而對數(shù)據(jù)的需求顯得更為迫切，對數(shù)據(jù)質(zhì)量的要求也

3、更為苛刻。作為信息系統(tǒng)的重要構(gòu)成部分，數(shù)據(jù)質(zhì)量問題是影響信息系統(tǒng)運(yùn)行的關(guān)鍵因素，直接關(guān)系到信息系統(tǒng)建設(shè)的成敗。根據(jù)“垃圾進(jìn)，垃圾出（ｇａｒｂａｇｅｉｎ，ｇａｒｂａｇｅ ｏｕｔ）”的原理，為了使信息系統(tǒng)建設(shè)取得預(yù)期效果，達(dá)到數(shù)據(jù)決策的目標(biāo)，就要求信息系統(tǒng)提供的數(shù)據(jù)是可靠的，能夠準(zhǔn)確反應(yīng)客觀事實(shí)。如果數(shù)據(jù)質(zhì)量得不到保證，即使數(shù)據(jù)分析工具再先進(jìn)，模型再合理，算法再優(yōu)良，在充滿“垃圾”的數(shù)據(jù)環(huán)境中也只能（１）在數(shù)據(jù)收集方面，大數(shù)據(jù)的多樣性決定了

4、數(shù)據(jù)來源的復(fù)雜性。來源眾多、結(jié)構(gòu)各異、大量不同的數(shù)據(jù)源之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的完整性、數(shù)據(jù)質(zhì)量的可靠性尤為必要。（２）由于規(guī)模大，大數(shù)據(jù)獲取、存儲、傳輸和計(jì)算過程中可能產(chǎn)生更多錯誤。采用傳統(tǒng)數(shù)據(jù)的人工錯誤檢測與修復(fù)或簡單的程序匹配處理，遠(yuǎn)遠(yuǎn)處理不了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)問題。（３）由于高速性，數(shù)據(jù)的大量更新會導(dǎo)致過時數(shù)據(jù)迅速產(chǎn)生，也更易產(chǎn)生不一致數(shù)據(jù)。（４）由于發(fā)展迅速，市場龐大，廠商眾多，直接產(chǎn)

5、生的數(shù)據(jù)或者產(chǎn)品產(chǎn)生的數(shù)據(jù)標(biāo)準(zhǔn)不完善，使得數(shù)據(jù)有更大的可能產(chǎn)生不一致和沖突。（５）由于數(shù)據(jù)生產(chǎn)源頭激增，產(chǎn)生的數(shù)據(jù)來源眾多，結(jié)構(gòu)各異，以及系統(tǒng)更新升級加快和應(yīng)用技術(shù)更新?lián)Q代頻繁，使得不同的數(shù)據(jù)源之間、相同的數(shù)據(jù)源之間都可能存在著沖突、不一致或相互矛盾的現(xiàn)象，再加上數(shù)據(jù)收集與集成往往由多個團(tuán)隊(duì)協(xié)作完成，期間增大了數(shù)據(jù)處理過程中產(chǎn)生問題數(shù)據(jù)的概率。３ 數(shù)據(jù)質(zhì)量管理策略 數(shù)據(jù)質(zhì)量管理策略為了改進(jìn)和提高數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從