大數據時代亟需強化數據清洗環(huán)節(jié)的規(guī)范和標準

1、日期：2015-10-10 文章來源：國研網 文章錄入：李金金 [ 關 閉 ]海量數據的不斷劇增形成大數據時代的顯著特征。而大數據的生產和交易的重要前提之一是數據的清洗。目前，我國已經形成了基本的數據清洗產業(yè)格局，但因各自利益的追求，導致仍存在不少問題。因此，我國未來應重點強化數據清洗環(huán)節(jié)的規(guī)范和標準，推動大數據產業(yè)的健康發(fā)展。海量數據不斷劇增是未來的發(fā)展趨勢 海量數據不斷劇增是未來的發(fā)展趨勢在席卷全球的信息化浪潮中，互聯(lián)網、移動互聯(lián)網

2、、云計算、物聯(lián)網等技術迅猛發(fā)展、加速創(chuàng)新，其中積淀的數據爆炸式增長，成為重要的生產要素和社會財富，堪稱信息時代的礦產和石油。據預測，中國 2015 年可能突破 10EB 數據保有量，且每兩年會翻一番。針對這種史無前例的數據洪流，如何挖掘信息時代的“數字石油”，將大數據轉換為大智慧、大市場和大生態(tài)，是我們這個時代的歷史機遇。2015 年 6 月24 日，國務院常務會議通過的《互聯(lián)網+”行動指南意見》明確提出，要加強新一代信息基礎設施建設和

3、云計算、大數據的應用。此外，根據中國信息通信研究院(原工信部電信研究院)6 月 21 日發(fā)布的《中國大數據發(fā)展調查報告》，2014年我國大數據市場規(guī)模達到 84 億元人民幣， 預計 2015 年將達到 115.9 億元人民幣，增速為 38%。大數據交易顯現出對數據清洗的迫切需求 大數據交易顯現出對數據清洗的迫切需求大數據已經滲透到各個行業(yè)和業(yè)務職能領域，成為重要的生產因素。數據的來源主要有政府數據、行業(yè)數據、企業(yè)數據和從數據交易所交換的

4、數據。在數據交易方面，2014 年 2 月 20 日，國內首個面向數據交易的產業(yè)組織——中關村大數據交易產業(yè)聯(lián)盟成立。 同時成立的中關村數海大數據交易平臺是國內首個重點面向大數據的數據交易服務平臺，目前有 1203 家數據提供商。2015 年 4 月 14 日，全國首家以大數據命名的交易所，即貴陽大數據交易所正式掛牌成立，并在當日成功完成了首筆數據交易。值得注意的是，貴陽大數據交易所交易的并不是底層數據，而是基于底層數據，通過數據的清洗

5、、分析、建數據清洗在匯聚多個維度、多個來源、多種結構的數據之后，就可以對數據進行抽取、轉換和集成加載。在這個過程中，除了更正、修復系統(tǒng)中的一些錯誤數據之外，更多的是對數據進行歸并整理，并儲存到新的存儲介質中。其中，分清和掌握數據的質量至關重要。常見的數據質量問題可以根據數據源的多少和所屬層次(定義 Scheme 層和實例 sample 層)分為四類。第一類，單數據源定義層：違背字段約束條件(比如日期出現 1 月 0 日)、字段屬性依賴沖

6、突(比如兩條記錄描述同一個人的某一個屬性， 但數值不一致)、 違反唯一性(同一個主鍵 ID 出現了多次)。第二類，單數據源實例層：單個屬性值含有過多信息、拼寫錯誤、空白值、噪音數據、數據重復、過時數據等。第三類，多數據源的定義層：同一個實體的不同稱呼(比如冰心和謝婉瑩，用筆名還是用真名)、 同一種屬性的不同定義(比如字段長度定義不一致、 字段類型不一致等)。第四類，多數據源的實例層：數據的維度、粒度不一致(比如有的按 GB 記錄存儲量，

7、有的按TB 記錄存儲量；有的按照年度統(tǒng)計，有的按照月份統(tǒng)計 )、數據重復、拼寫錯誤。除此之外，還有在數據處理過程中產生的“二次數據”，其中也會有噪聲、重復或錯誤的情況。 數據的調整和清洗也會涉及到格式、 測量單位和數據標準化與歸一化的相關事情， 以致對實驗結果產生比較大的影響。 通常這類問題可以歸結為不確定性。不確定性有兩方面內涵，包括各數據點自身存在的不確定性，以及數據點屬性值的不確定性。前者可用概率描述，后者有多重描述方式，如描述屬