做大數(shù)據(jù)過(guò)程中遇到的13個(gè)問(wèn)題

1、做大數(shù)據(jù)過(guò)程中遇到的13個(gè)問(wèn)題1、最早的數(shù)據(jù)分析可能就報(bào)表目前很多數(shù)據(jù)分析后的結(jié)果，展示的形式很多，有各種圖形以及報(bào)表，最早的應(yīng)該是簡(jiǎn)單的幾條數(shù)據(jù)，然后搞個(gè)web頁(yè)面，展示一下數(shù)據(jù)。早期可能數(shù)據(jù)量也不大，隨便搞個(gè)數(shù)據(jù)庫(kù)，然后SQL搞一下，數(shù)據(jù)報(bào)表就出來(lái)了。但是數(shù)據(jù)量大起來(lái)怎么分析呢？數(shù)據(jù)分析完了怎么做傳輸呢？這么大的數(shù)據(jù)量怎么做到實(shí)時(shí)呢？分析的結(jié)果數(shù)據(jù)如果不是很大還行，如果分析的結(jié)果數(shù)據(jù)還是很大改怎么辦呢？這些問(wèn)題在這篇文章中都能找到答

2、案，下面各個(gè)擊破。2、要做數(shù)據(jù)分析，首先要有數(shù)據(jù)這個(gè)標(biāo)題感覺(jué)有點(diǎn)廢話(huà)，不過(guò)要做飯需要食材一樣。有些數(shù)據(jù)時(shí)業(yè)務(wù)積累的，像交易訂單的數(shù)據(jù)，每一筆交易都會(huì)有一筆訂單，之后再對(duì)訂單數(shù)據(jù)作分析。但是有些場(chǎng)景下，數(shù)據(jù)沒(méi)法考業(yè)務(wù)積累，需要依賴(lài)于外部，這個(gè)時(shí)候外部如果有現(xiàn)成的數(shù)據(jù)最好了，直接join過(guò)來(lái)，但是有時(shí)候是需要自己獲取的，例如搞個(gè)爬蟲(chóng)爬取網(wǎng)頁(yè)的數(shù)據(jù)，有時(shí)候單臺(tái)機(jī)器搞爬蟲(chóng)可能還爬不完，這個(gè)時(shí)候可能就開(kāi)始考慮單機(jī)多線程爬取或者分布式多線程爬取數(shù)據(jù)

3、，中間涉及到一個(gè)步驟，就是在線的業(yè)務(wù)數(shù)據(jù)，需要每天晚上導(dǎo)入到離線的系統(tǒng)中，之后才可以進(jìn)行分析。3、有了數(shù)據(jù)，咋分析呢？先將數(shù)據(jù)量小的情況下，可能一個(gè)復(fù)雜的據(jù)分析就好之前寫(xiě)SQL一樣了，按照邏輯編寫(xiě)hiveSQL，然后控制臺(tái)執(zhí)行?？赡茏畲蟮母杏X(jué)是，數(shù)據(jù)庫(kù)的sql很快就能有結(jié)果，但是hive的，即使很小的一個(gè)數(shù)據(jù)分析，也需要幾分鐘時(shí)間。構(gòu)建hive，需要在hadoop的集群上，原理很簡(jiǎn)單，就是把文件構(gòu)建成表的形式（有一個(gè)數(shù)據(jù)庫(kù)或者內(nèi)存數(shù)據(jù)庫(kù)

4、維護(hù)表的schema信息），之后提交寫(xiě)好的hivesql的時(shí)候，hadoop集群里面的程序把hive腳本轉(zhuǎn)換成對(duì)應(yīng)的mapreduce程序執(zhí)行。這個(gè)時(shí)候，做離線的數(shù)據(jù)分析簡(jiǎn)單寫(xiě)腳本就行了，不用再搞java代碼，然后上傳執(zhí)行了。6、數(shù)據(jù)產(chǎn)生的結(jié)果，怎么搞到線上提供服務(wù)的數(shù)據(jù)庫(kù)中呢？這個(gè)時(shí)候分析的結(jié)果有了，可能是一個(gè)很寬很長(zhǎng)的excel表格，需要導(dǎo)入到線上的數(shù)據(jù)庫(kù)中，可能你想到了，如果我的數(shù)據(jù)庫(kù)是mysql，我直接執(zhí)行l(wèi)oad命令就搞進(jìn)去了

5、，哪有那么麻煩。但是數(shù)據(jù)源可能有多了，mysqlaclehbasehdfs按照笛卡爾積的形式，這樣搞要搞死程序員了。這個(gè)時(shí)候datax（已經(jīng)開(kāi)源）出現(xiàn)了，能夠?qū)崿F(xiàn)異構(gòu)數(shù)據(jù)源的導(dǎo)入和導(dǎo)出，采用插件的形式設(shè)計(jì)，能夠支持未來(lái)的數(shù)據(jù)源。如果需要導(dǎo)數(shù)據(jù)，配置一下datax的xml文件或者在web頁(yè)面上點(diǎn)擊下就可以實(shí)現(xiàn)了。7、離線分析有時(shí)間差，實(shí)時(shí)的話(huà)怎么搞呢？要構(gòu)建實(shí)時(shí)的分析系統(tǒng)，其實(shí)在結(jié)果數(shù)據(jù)出來(lái)之前，架構(gòu)和離線是截然不同的。數(shù)據(jù)時(shí)流動(dòng)的，如果