大數(shù)據(jù)發(fā)展跟蹤研究報(bào)告

1、中國(guó)電信廣州研究院2012年10月,,大數(shù)據(jù)發(fā)展跟蹤研究報(bào)告,目錄,大數(shù)據(jù)發(fā)展趨勢(shì)概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,全球進(jìn)入大數(shù)據(jù)時(shí)代，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)趨勢(shì),隨著互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)、數(shù)碼設(shè)備、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)在高速增長(zhǎng) 信息處理技術(shù)的發(fā)展使數(shù)據(jù)價(jià)值能夠被更好地挖掘和利用傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無(wú)法應(yīng)對(duì)新的挑戰(zhàn),來(lái)源：IDC數(shù)字宇宙研究報(bào)告，2011.11,據(jù)IDC預(yù)測(cè)，未來(lái)10年全球數(shù)據(jù)量將以4

2、0+%的速度增長(zhǎng)，2020年全球數(shù)據(jù)量將達(dá)到35ZB （35,000,000PB），為2009年（0.8ZB）的44倍,大數(shù)據(jù)成為繼云計(jì)算等之后的全球性新熱點(diǎn),,“大數(shù)據(jù)”關(guān)鍵詞在全球范圍內(nèi)迅速升溫 短短兩年間，“大數(shù)據(jù)”關(guān)鍵詞的搜索量指數(shù)雙倍增長(zhǎng),數(shù)據(jù)來(lái)源：百度搜索量統(tǒng)計(jì),麥肯錫全球研究機(jī)構(gòu)發(fā)布，認(rèn)為大數(shù)據(jù)是創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域，數(shù)據(jù)將會(huì)給社會(huì)帶來(lái)更大的價(jià)值 大數(shù)據(jù)將在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及

3、個(gè)人位置服務(wù)等領(lǐng)域得到廣泛應(yīng)用，并產(chǎn)生巨大的社會(huì)價(jià)值和產(chǎn)業(yè)空間預(yù)測(cè)2020年，大數(shù)據(jù)應(yīng)用市場(chǎng)規(guī)模將達(dá)到近2600 億美元,大數(shù)據(jù)市場(chǎng)前景廣闊，成為全球新的經(jīng)濟(jì)增長(zhǎng)點(diǎn),各國(guó)政府高度重視大數(shù)據(jù)，上升到國(guó)家戰(zhàn)略高度,美國(guó)：奧巴馬政府3.29宣布“Big Data Research and Development Initiative” 將投入超過(guò)2億美元推動(dòng)大數(shù)據(jù)提取、存儲(chǔ)、分析、共享、可視化等領(lǐng)域的研究，并將其與歷史上對(duì)超級(jí)計(jì)算和互聯(lián)網(wǎng)

4、的投資相提并論,中國(guó)：工信部物聯(lián)網(wǎng)十二五規(guī)劃信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘等,,國(guó)外互聯(lián)網(wǎng)公司走在大數(shù)據(jù)應(yīng)用前沿,Google開(kāi)放BigQuery服務(wù)：將企業(yè)數(shù)據(jù)分析能力商品化，成為收費(fèi)線(xiàn)上服務(wù)；統(tǒng)計(jì)機(jī)器翻譯(statistical machine translation)：利用龐大的已經(jīng)翻譯好的文件輸入電腦，然后由電腦通過(guò)識(shí)別庫(kù)存的句式來(lái)進(jìn)行翻譯，而不是只通過(guò)語(yǔ)法規(guī)則和詞庫(kù)進(jìn)行翻譯。,

5、Twitter 利用大數(shù)據(jù)技術(shù)，預(yù)測(cè)豬流感等流行性疾病爆發(fā)。研究人員收集超過(guò)5000萬(wàn)條基于地緣位置的twitter消息，然后按區(qū)域與英國(guó)國(guó)家衛(wèi)生服務(wù)部的官方禽流感數(shù)據(jù)進(jìn)行了比較。通過(guò)從數(shù)據(jù)庫(kù)中找出與禽流感相關(guān)的關(guān)鍵詞，Lampos能夠創(chuàng)造出一個(gè)將未來(lái)twitter消息中流感發(fā)病情況的關(guān)鍵詞轉(zhuǎn)化為某一特定地區(qū)流感嚴(yán)重程度的模型,國(guó)外運(yùn)營(yíng)商利用大數(shù)據(jù)已有初步應(yīng)用,按流量種類(lèi)的固定收費(fèi)，解除用戶(hù)流量后顧之憂(yōu)培養(yǎng)用戶(hù)使用數(shù)據(jù)業(yè)務(wù)習(xí)慣，增強(qiáng)

6、用戶(hù)粘性針對(duì)預(yù)付費(fèi)用戶(hù)群，擴(kuò)大流量收入面向智能終端用戶(hù)面向低端、高度同質(zhì)化競(jìng)爭(zhēng)市場(chǎng),西班牙電信：包月流量套餐定制（根據(jù)客戶(hù)訪(fǎng)問(wèn)內(nèi)容和SLA要求，提供不同費(fèi)率套餐）,T-Mobile：應(yīng)用大數(shù)據(jù)技術(shù)，降低客戶(hù)流失率。在多個(gè)IT系統(tǒng)中整合了大數(shù)據(jù)應(yīng)用，對(duì)客戶(hù)交易和互動(dòng)數(shù)據(jù)進(jìn)行綜合分析，更準(zhǔn)確地預(yù)測(cè)客戶(hù)流失率。通過(guò)將社交媒體數(shù)據(jù)和CRM和計(jì)費(fèi)系統(tǒng)中的交易數(shù)據(jù)進(jìn)行綜合分析，T-mobile在一個(gè)季度內(nèi)將客戶(hù)流失率降低了50%。,國(guó)內(nèi)公司

7、：阿里巴巴要做中國(guó)數(shù)據(jù)分析第一平臺(tái),阿里巴巴的企業(yè)愿景是要做分享數(shù)據(jù)的第一平臺(tái)。,大數(shù)據(jù)時(shí)代“將阿里集團(tuán)變成一家真正意義上的數(shù)據(jù)公司”知道“你是誰(shuí)，你想要什么”阿里巴巴集團(tuán)所積淀的商業(yè)數(shù)據(jù)，支付寶、淘寶、阿里金融、B2B的數(shù)據(jù)都會(huì)成為這個(gè)巨大的數(shù)據(jù)分享平臺(tái)的一部分，將會(huì)獲得深度發(fā)掘和應(yīng)用。,國(guó)內(nèi)運(yùn)營(yíng)商：中移動(dòng)依托大云，試點(diǎn)經(jīng)分,中國(guó)移動(dòng)：歷時(shí)多年打造大云平臺(tái),集團(tuán)組織技術(shù)驗(yàn)證：基于大云平臺(tái)，以經(jīng)分為切入點(diǎn)，利用現(xiàn)有數(shù)據(jù)，探索大數(shù)據(jù)技

8、術(shù)，已在河北等三省試點(diǎn)應(yīng)用探索：嘗試?yán)么髷?shù)據(jù)技術(shù)識(shí)別異常話(huà)單產(chǎn)品線(xiàn)：  分析型PaaS產(chǎn)品，大數(shù)據(jù)處理的一個(gè)主要產(chǎn)品，包括Hadoop基礎(chǔ)平臺(tái)。基于Hadoop的大數(shù)據(jù)倉(cāng)庫(kù)。并行數(shù)據(jù)挖掘工具。搜索引擎系統(tǒng)，基于中國(guó)移動(dòng)“大云”平臺(tái)，推出面向公眾的搜索業(yè)務(wù)”盤(pán)古搜索”。,國(guó)內(nèi)運(yùn)營(yíng)商：聯(lián)通試點(diǎn)流量清單查詢(xún),中國(guó)聯(lián)通：以“流量清單查詢(xún)”探索大數(shù)據(jù)技術(shù),平臺(tái)：英特爾至強(qiáng)平臺(tái)及“Hadoop開(kāi)發(fā)版”大數(shù)據(jù)解決方案。功能：

9、客戶(hù)服務(wù)人員提供客戶(hù)上網(wǎng)記錄的快速查詢(xún)服務(wù)，或?yàn)榭蛻?hù)本人提供高效的異常大流量上網(wǎng)記錄自助查詢(xún)服務(wù)。上線(xiàn)：完成北京、黑龍江、浙江、重慶試點(diǎn)，預(yù)計(jì)將會(huì)在今年10月份正式發(fā)布。,建設(shè)模式：聯(lián)通的大數(shù)據(jù)平臺(tái)是建立在數(shù)據(jù)大集中的基礎(chǔ)之上，“我們現(xiàn)在在集團(tuán)公司進(jìn)行統(tǒng)一部署，各個(gè)省分僅僅是做數(shù)據(jù)的采集，按照業(yè)務(wù)實(shí)時(shí)性將數(shù)據(jù)傳送到集團(tuán)公司，由集團(tuán)公司統(tǒng)一處理。 ”,目錄,大數(shù)據(jù)發(fā)展趨勢(shì)概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

10、,,需求,技術(shù)描述,關(guān)鍵技術(shù),,海量數(shù)據(jù)分布式處理,Hadoop 生態(tài)系統(tǒng),針對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的系統(tǒng)框架,實(shí)時(shí)數(shù)據(jù)處理,Streaming Data,流計(jì)算引擎,,非結(jié)構(gòu)化數(shù)據(jù)處理,文本處理技術(shù)；自然語(yǔ)言理解； 多媒體處理技術(shù)…,文本內(nèi)容分詞與分析；圖像、音視頻分析,,可視化交互界面,通過(guò)交互式可視化界面輔助用戶(hù)進(jìn)行分析,交互式可視化探索分析技術(shù),,,智能數(shù)據(jù)分析,大規(guī)模機(jī)器學(xué)習(xí)技術(shù),計(jì)算機(jī)模擬人類(lèi)學(xué)習(xí)行為，包括特征提取、圖形生

11、成等,,保護(hù)隱私數(shù)據(jù)與信息個(gè)體的對(duì)應(yīng)關(guān)系等安全技術(shù),高效存儲(chǔ)和管理大規(guī)模數(shù)據(jù),數(shù)據(jù)存儲(chǔ)備份技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源,存儲(chǔ)、放置、調(diào)度大規(guī)模的數(shù)據(jù),數(shù)據(jù)隱私保護(hù),數(shù)據(jù)隱私防范保護(hù)措施與數(shù)據(jù)安全技術(shù),,大數(shù)據(jù)采集處理,,大數(shù)據(jù)分析,,存儲(chǔ)、組織、管理,大數(shù)據(jù)技術(shù)處于快速成熟階段,Gartner 新興技術(shù) Hyper 曲線(xiàn) (2012年),達(dá)到成熟期尚需時(shí)間,Gartner 新興技術(shù) Hyper 曲線(xiàn) (2011年),,,僅一年時(shí)間

12、，大數(shù)據(jù)技術(shù)就取得快速成長(zhǎng)。仍處于上升通道，處于期望膨脹期（Peak of Inflated Expectation）需2-5年才能達(dá)到成熟期，成為主要應(yīng)用技術(shù)。,,,各IT廠家紛紛快速跟進(jìn)大數(shù)據(jù)技術(shù),“大數(shù)據(jù)”對(duì)信息處理設(shè)施和技術(shù)提出了更高的要求 全球主流IT廠家紛紛加大在大數(shù)據(jù)領(lǐng)域的投入，行業(yè)價(jià)值快速增長(zhǎng),目錄,大數(shù)據(jù)發(fā)展趨勢(shì)概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,,傳統(tǒng)數(shù)據(jù)主要來(lái)自于業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，比

13、如財(cái)務(wù)收入、業(yè)務(wù)發(fā)展量等結(jié)構(gòu)化數(shù)據(jù)；當(dāng)前爆炸式增長(zhǎng)的新數(shù)據(jù)主要來(lái)源于互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等，比如圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化新數(shù)據(jù)和結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)一起構(gòu)成大數(shù)據(jù)。,,大數(shù)據(jù),傳統(tǒng)數(shù)據(jù),客戶(hù)資料,訂單數(shù)據(jù),產(chǎn)品數(shù)據(jù),物資數(shù)據(jù),財(cái)務(wù)數(shù)據(jù),信令數(shù)據(jù),網(wǎng)管數(shù)據(jù),實(shí)時(shí)監(jiān)控視頻,傳感器數(shù)據(jù),即時(shí)通信數(shù)據(jù),視頻文件,客戶(hù)賬單,……,價(jià)值密度由高到低,,,網(wǎng)上交易數(shù)據(jù),微博數(shù)據(jù),上網(wǎng)行為數(shù)據(jù),位置數(shù)據(jù),圖片,音頻,網(wǎng)頁(yè),日志,結(jié)構(gòu)化

14、數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)定義：結(jié)構(gòu)化數(shù)據(jù)是能夠用數(shù)據(jù)庫(kù)二維表來(lái)邏輯表達(dá)的數(shù)據(jù)；其他為非結(jié)構(gòu)化數(shù)據(jù)。,大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)的延伸，是對(duì)傳統(tǒng)數(shù)據(jù)在深度和廣度上的補(bǔ)充,,,,,,,大數(shù)據(jù)為電信帶來(lái)新的機(jī)遇,,對(duì)數(shù)據(jù)的有效利用日益成為中國(guó)電信進(jìn)一步發(fā)展的關(guān)鍵發(fā)現(xiàn)需求/業(yè)務(wù)創(chuàng)新：對(duì)市場(chǎng)保持足夠的敏銳度，及時(shí)捕捉市場(chǎng)空白，并迅速作出響應(yīng)吸引和留住用戶(hù)：快速滿(mǎn)足用戶(hù)個(gè)性化需求，成功吸引用戶(hù)注意力和增加用戶(hù)黏性,大數(shù)據(jù)將成為中國(guó)電信發(fā)展的核心驅(qū)動(dòng)引擎,電信擁

15、有豐富的數(shù)據(jù)來(lái)源客戶(hù)資料產(chǎn)品信息行為數(shù)據(jù)位置數(shù)據(jù)數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)…完善360度客戶(hù)視圖幫助我們回答我是誰(shuí)？我是一個(gè)怎樣的人？幫助我們進(jìn)一步的了解事物之間的內(nèi)在聯(lián)系幫助我們了解周?chē)卸嗌偃撕妥约河邢嗤卣?，他們有什么有趣的新發(fā)現(xiàn),大數(shù)據(jù)對(duì)電信的主要核心價(jià)值——客戶(hù)深度洞察,信息獲取的及時(shí)性和價(jià)值成正比，而及時(shí)性主要由數(shù)據(jù)處理速度和結(jié)果獲取速度決定。大數(shù)據(jù)新的處理及應(yīng)用技術(shù)有效提升信息獲取及時(shí)性流處理和分布式計(jì)算技術(shù)有效

16、提升數(shù)據(jù)處理的速度移動(dòng)BI等能夠?qū)⒏黝?lèi)圖表直觀快速的傳遞給用戶(hù)，提高決策的有效性可視化技術(shù)提供了一種對(duì)已有預(yù)測(cè)進(jìn)行檢驗(yàn)，對(duì)未知信息進(jìn)行探索，實(shí)現(xiàn)快速、可檢驗(yàn)和易理解的評(píng)估的手段,大數(shù)據(jù)對(duì)電信的主要核心價(jià)值——及時(shí)有效決策支持,,,,,大數(shù)據(jù)應(yīng)用,獲取并處理DPI數(shù)據(jù)，分析用戶(hù)行為特征等根據(jù)用戶(hù)行為偏好，推送相關(guān)業(yè)務(wù)按照流量?jī)r(jià)值分級(jí)經(jīng)營(yíng),優(yōu)化產(chǎn)品、套餐等，提供個(gè)性化定制能力根據(jù)用戶(hù)等級(jí)提供差異化服務(wù),實(shí)時(shí)采集處理信令據(jù)，監(jiān)控網(wǎng)絡(luò)

17、狀況實(shí)現(xiàn)網(wǎng)絡(luò)、應(yīng)用和用戶(hù)的智能指配指導(dǎo)網(wǎng)絡(luò)規(guī)劃,將數(shù)據(jù)封裝成服務(wù)，提供給企業(yè)所有用戶(hù)提供數(shù)據(jù)分析開(kāi)放能力,電信大數(shù)據(jù)應(yīng)用的主要場(chǎng)景,,,,大數(shù)據(jù)在管理、技術(shù)和應(yīng)用上帶來(lái)的挑戰(zhàn),,,,,,,,,,,,,,大數(shù)據(jù)挑戰(zhàn),大數(shù)據(jù)如何有效組織和管理？大數(shù)據(jù)時(shí)代如何保護(hù)數(shù)據(jù)安全？保護(hù)用戶(hù)隱私？大數(shù)據(jù)如何保障其數(shù)據(jù)質(zhì)量？,如何從海量數(shù)據(jù)中發(fā)掘數(shù)據(jù)價(jià)值？現(xiàn)有數(shù)據(jù)應(yīng)用模式已經(jīng)難以適應(yīng)大數(shù)據(jù)持續(xù)優(yōu)化的需求,大數(shù)據(jù)技術(shù)架構(gòu)挑戰(zhàn),大數(shù)據(jù)應(yīng)用挑戰(zhàn),

18、大數(shù)據(jù)管理挑戰(zhàn),,大數(shù)據(jù)對(duì)存儲(chǔ)、網(wǎng)絡(luò)等提出了更高要求；多源異構(gòu)大規(guī)模數(shù)據(jù)的采集、整合面臨挑戰(zhàn)；,中國(guó)電信大數(shù)據(jù)應(yīng)對(duì)策略與建議,加強(qiáng)技術(shù)儲(chǔ)備，有序開(kāi)展大數(shù)據(jù)關(guān)鍵技術(shù)研究與驗(yàn)證非結(jié)構(gòu)化數(shù)據(jù)處理、交互式可視化分析、流計(jì)算…找準(zhǔn)切入點(diǎn)，盡快推動(dòng)大數(shù)據(jù)技術(shù)應(yīng)用試驗(yàn)，為大規(guī)模應(yīng)用、推廣奠定基礎(chǔ)智能管道：流量經(jīng)營(yíng)、定向廣告服務(wù)、實(shí)時(shí)位置營(yíng)銷(xiāo)...綜合平臺(tái)：數(shù)據(jù)服務(wù)、數(shù)據(jù)能力開(kāi)放…加強(qiáng)人才培養(yǎng)，持續(xù)優(yōu)化組織架構(gòu)，適應(yīng)大數(shù)據(jù)運(yùn)營(yíng)要求著力培養(yǎng)

19、“業(yè)務(wù)+數(shù)據(jù)+技術(shù)”專(zhuān)業(yè)化人才隊(duì)伍建立大數(shù)據(jù)集約化聯(lián)合運(yùn)營(yíng)團(tuán)隊(duì)，構(gòu)建“管理+生產(chǎn)+研發(fā)”一體化運(yùn)作體系,集團(tuán)統(tǒng)籌大數(shù)據(jù)技術(shù)及應(yīng)用研究，加大技術(shù)儲(chǔ)備和人才隊(duì)伍建設(shè)，迎接大數(shù)據(jù)時(shí)代的到來(lái)。,應(yīng)對(duì)措施,總體思路,擁有龐大、高質(zhì)量數(shù)據(jù)，能夠從移動(dòng)互聯(lián)網(wǎng)、互聯(lián)網(wǎng)等接入端獲取到大量用戶(hù)行為數(shù)據(jù)；電信的IDC、光網(wǎng)城市，為大數(shù)據(jù)應(yīng)用的存儲(chǔ)、計(jì)算和傳輸提供了良好基礎(chǔ)；以數(shù)據(jù)為驅(qū)動(dòng)的營(yíng)銷(xiāo)支撐體系基本形成，為大數(shù)據(jù)價(jià)值轉(zhuǎn)換和顯現(xiàn)提供良好基礎(chǔ)；,現(xiàn)有