大數(shù)據(jù)分析的流程淺析之一大數(shù)據(jù)采集過程分析

1、大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析數(shù)據(jù)采集，就是使用某種技術(shù)或手段，將數(shù)據(jù)收集起來并存儲(chǔ)在某種設(shè)備上，這種設(shè)備可以是磁盤或磁帶。區(qū)別于普通的數(shù)據(jù)分析，大數(shù)據(jù)分析的數(shù)據(jù)采集在數(shù)據(jù)收集和存儲(chǔ)技術(shù)上都是不同的。具體情況如下：1.大數(shù)據(jù)收集過程在收集階段，大數(shù)據(jù)分析在時(shí)空兩個(gè)方面都有顯著的不同。在時(shí)間維度上，為了獲取更多的數(shù)據(jù)，大數(shù)據(jù)收集的時(shí)間頻度大一些，有時(shí)也叫數(shù)據(jù)采集的深度。在空間維度上，為了獲取更準(zhǔn)確的數(shù)據(jù)，數(shù)據(jù)采集點(diǎn)設(shè)置得會(huì)更

2、密一些。以收集一個(gè)面積為100平方米的葡萄園的平均溫度為例。小數(shù)據(jù)時(shí)代，由于成本的原因，葡萄園主只能在葡萄園的中央設(shè)置一個(gè)溫度計(jì)用來計(jì)算溫度，而且每一小時(shí)觀測一次，這樣一天就只有24個(gè)數(shù)據(jù)。而在大數(shù)據(jù)時(shí)代，在空間維度上，可以設(shè)置100個(gè)溫度計(jì)，即每個(gè)1平方米一個(gè)溫度計(jì)；在時(shí)間維度上，每隔1分鐘就觀測一次，mapredce分布式計(jì)算則就實(shí)現(xiàn)讓6000臺計(jì)算機(jī)一起協(xié)同工作起來，hadoop在設(shè)計(jì)mapredce時(shí)，最基本的思想就是讓分析師不

3、用操心程序設(shè)計(jì)問題，這些問題需要和最底層的程序打交道的，且只有優(yōu)秀的程序員才能解決的，而是讓大數(shù)據(jù)分析師專注于業(yè)務(wù)流程進(jìn)行簡單的mapredce程序編寫，也就是說大數(shù)據(jù)分析師只需要知道簡單的mapreduce程序設(shè)計(jì)流程就可以了，不需要成為優(yōu)秀的JAVA、Python程序員。hadoop框架的這種簡單的設(shè)計(jì)思想，再加上它開源的特性，使其一開始就受到很多主流的互聯(lián)網(wǎng)公司所采用，接下來的事情就順理成章了，它成為全球最成功的解決大數(shù)據(jù)分析的分