大數(shù)據(jù)環(huán)境下的審計信息化思路篇

1、大數(shù)據(jù)環(huán)境下的審計信息化（思路篇）前言： 審計信息化工作十余年， 面臨著云計算、 物聯(lián)網(wǎng)、大數(shù)據(jù)、移動通訊和社交網(wǎng)絡等新技術(shù)的挑戰(zhàn)。本文希望通過對大數(shù)據(jù)的理解、審計中的應用分析，提出大數(shù)據(jù)服務與審計的一個角度或方向，進而形成相關(guān)信息化配套建設的思路。本文的編寫希望得到讀者的回饋，能夠收到您的批評、指正。 一、大數(shù)據(jù)的定義和理解（一）廣泛定義對于大數(shù)據(jù)的理解現(xiàn)在并沒有一個標準的定義，不過大家對于大數(shù)據(jù)都有一個共同的認識， 那就是 4V （

2、Volume、 Velocity、 Variety、Veracity） ：1.（Volume）數(shù)據(jù)量大，TB，PB，乃至 EB 等數(shù)據(jù)量的數(shù)據(jù)需要分析處理。2.（Velocity）要求快速響應，市場變化快，要求能及時快速的響應變化，那對數(shù)據(jù)的分析也要快速，在性能上有更高要求，所以數(shù)據(jù)量顯得對速度要求有些“大”。3． （Variety）數(shù)據(jù)多樣性：不同的數(shù)據(jù)源，非結(jié)構(gòu)化數(shù)據(jù)越來越多，需要進行清洗，整理，篩選等操作，變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)。4.（Ve

3、racity）價值密度低，由于數(shù)據(jù)采集的不及時，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能會失真，但當數(shù)據(jù)量達到一定規(guī)模，可以通過更多的數(shù)據(jù)達到更真實全面的反饋。而簡化一下描述，其實“大數(shù)據(jù)”是一個體量特別大，數(shù)據(jù)類別特別多的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進行抓取、管理和處理。據(jù)類型極為繁雜，這種復雜的數(shù)據(jù)環(huán)境要求必須對數(shù)據(jù)源中的數(shù)據(jù)進行抽取和集成。并采用統(tǒng)一定義的結(jié)構(gòu)來存儲這些數(shù)據(jù)。為保證數(shù)據(jù)質(zhì)量，需要在數(shù)據(jù)抽

4、取與集成后進行數(shù)據(jù)清洗。 （1）數(shù)據(jù)采集：ETL 工具負責將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、 轉(zhuǎn)換、 集成， 最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。 （2）數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫、NOSQL、SQL 等。 （3）數(shù)據(jù)處理：自然語言處理(NLP， NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關(guān)鍵是要讓計

5、算機'理解'自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。2．數(shù)據(jù)分析數(shù)據(jù)分析是大數(shù)據(jù)發(fā)揮其核心價值的重要流程， 主要的分析技術(shù)有統(tǒng)計分析、 數(shù)據(jù)挖掘、模型