大數(shù)據(jù)發(fā)展跟蹤研究報告

1、中國電信廣州研究院2012年10月,,大數(shù)據(jù)發(fā)展跟蹤研究報告,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,全球進(jìn)入大數(shù)據(jù)時代，數(shù)據(jù)呈現(xiàn)爆炸式增長趨勢,隨著互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、數(shù)碼設(shè)備、物聯(lián)網(wǎng)/傳感器等技術(shù)的發(fā)展，全球數(shù)據(jù)生產(chǎn)在高速增長 信息處理技術(shù)的發(fā)展使數(shù)據(jù)價值能夠被更好地挖掘和利用傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法應(yīng)對新的挑戰(zhàn),來源：IDC數(shù)字宇宙研究報告，2011.11,據(jù)IDC預(yù)測，未來10年全球數(shù)據(jù)量將以4

2、0+%的速度增長，2020年全球數(shù)據(jù)量將達(dá)到35ZB （35,000,000PB），為2009年（0.8ZB）的44倍,大數(shù)據(jù)成為繼云計算等之后的全球性新熱點,,“大數(shù)據(jù)”關(guān)鍵詞在全球范圍內(nèi)迅速升溫 短短兩年間，“大數(shù)據(jù)”關(guān)鍵詞的搜索量指數(shù)雙倍增長,數(shù)據(jù)來源：百度搜索量統(tǒng)計,麥肯錫全球研究機(jī)構(gòu)發(fā)布，認(rèn)為大數(shù)據(jù)是創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領(lǐng)域，數(shù)據(jù)將會給社會帶來更大的價值 大數(shù)據(jù)將在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及

3、個人位置服務(wù)等領(lǐng)域得到廣泛應(yīng)用，并產(chǎn)生巨大的社會價值和產(chǎn)業(yè)空間預(yù)測2020年，大數(shù)據(jù)應(yīng)用市場規(guī)模將達(dá)到近2600 億美元,大數(shù)據(jù)市場前景廣闊，成為全球新的經(jīng)濟(jì)增長點,各國政府高度重視大數(shù)據(jù)，上升到國家戰(zhàn)略高度,美國：奧巴馬政府3.29宣布“Big Data Research and Development Initiative” 將投入超過2億美元推動大數(shù)據(jù)提取、存儲、分析、共享、可視化等領(lǐng)域的研究，并將其與歷史上對超級計算和互聯(lián)網(wǎng)

4、的投資相提并論,中國：工信部物聯(lián)網(wǎng)十二五規(guī)劃信息處理技術(shù)作為4 項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘等,,國外互聯(lián)網(wǎng)公司走在大數(shù)據(jù)應(yīng)用前沿,Google開放BigQuery服務(wù)：將企業(yè)數(shù)據(jù)分析能力商品化，成為收費線上服務(wù)；統(tǒng)計機(jī)器翻譯(statistical machine translation)：利用龐大的已經(jīng)翻譯好的文件輸入電腦，然后由電腦通過識別庫存的句式來進(jìn)行翻譯，而不是只通過語法規(guī)則和詞庫進(jìn)行翻譯。,

5、Twitter 利用大數(shù)據(jù)技術(shù)，預(yù)測豬流感等流行性疾病爆發(fā)。研究人員收集超過5000萬條基于地緣位置的twitter消息，然后按區(qū)域與英國國家衛(wèi)生服務(wù)部的官方禽流感數(shù)據(jù)進(jìn)行了比較。通過從數(shù)據(jù)庫中找出與禽流感相關(guān)的關(guān)鍵詞，Lampos能夠創(chuàng)造出一個將未來twitter消息中流感發(fā)病情況的關(guān)鍵詞轉(zhuǎn)化為某一特定地區(qū)流感嚴(yán)重程度的模型,國外運營商利用大數(shù)據(jù)已有初步應(yīng)用,按流量種類的固定收費，解除用戶流量后顧之憂培養(yǎng)用戶使用數(shù)據(jù)業(yè)務(wù)習(xí)慣，增強(qiáng)

6、用戶粘性針對預(yù)付費用戶群，擴(kuò)大流量收入面向智能終端用戶面向低端、高度同質(zhì)化競爭市場,西班牙電信：包月流量套餐定制（根據(jù)客戶訪問內(nèi)容和SLA要求，提供不同費率套餐）,T-Mobile：應(yīng)用大數(shù)據(jù)技術(shù)，降低客戶流失率。在多個IT系統(tǒng)中整合了大數(shù)據(jù)應(yīng)用，對客戶交易和互動數(shù)據(jù)進(jìn)行綜合分析，更準(zhǔn)確地預(yù)測客戶流失率。通過將社交媒體數(shù)據(jù)和CRM和計費系統(tǒng)中的交易數(shù)據(jù)進(jìn)行綜合分析，T-mobile在一個季度內(nèi)將客戶流失率降低了50%。,國內(nèi)公司

7、：阿里巴巴要做中國數(shù)據(jù)分析第一平臺,阿里巴巴的企業(yè)愿景是要做分享數(shù)據(jù)的第一平臺。,大數(shù)據(jù)時代“將阿里集團(tuán)變成一家真正意義上的數(shù)據(jù)公司”知道“你是誰，你想要什么”阿里巴巴集團(tuán)所積淀的商業(yè)數(shù)據(jù)，支付寶、淘寶、阿里金融、B2B的數(shù)據(jù)都會成為這個巨大的數(shù)據(jù)分享平臺的一部分，將會獲得深度發(fā)掘和應(yīng)用。,國內(nèi)運營商：中移動依托大云，試點經(jīng)分,中國移動：歷時多年打造大云平臺,集團(tuán)組織技術(shù)驗證：基于大云平臺，以經(jīng)分為切入點，利用現(xiàn)有數(shù)據(jù)，探索大數(shù)據(jù)技

8、術(shù)，已在河北等三省試點應(yīng)用探索：嘗試?yán)么髷?shù)據(jù)技術(shù)識別異常話單產(chǎn)品線：  分析型PaaS產(chǎn)品，大數(shù)據(jù)處理的一個主要產(chǎn)品，包括Hadoop基礎(chǔ)平臺。基于Hadoop的大數(shù)據(jù)倉庫。并行數(shù)據(jù)挖掘工具。搜索引擎系統(tǒng)，基于中國移動“大云”平臺，推出面向公眾的搜索業(yè)務(wù)”盤古搜索”。,國內(nèi)運營商：聯(lián)通試點流量清單查詢,中國聯(lián)通：以“流量清單查詢”探索大數(shù)據(jù)技術(shù),平臺：英特爾至強(qiáng)平臺及“Hadoop開發(fā)版”大數(shù)據(jù)解決方案。功能：

9、客戶服務(wù)人員提供客戶上網(wǎng)記錄的快速查詢服務(wù)，或為客戶本人提供高效的異常大流量上網(wǎng)記錄自助查詢服務(wù)。上線：完成北京、黑龍江、浙江、重慶試點，預(yù)計將會在今年10月份正式發(fā)布。,建設(shè)模式：聯(lián)通的大數(shù)據(jù)平臺是建立在數(shù)據(jù)大集中的基礎(chǔ)之上，“我們現(xiàn)在在集團(tuán)公司進(jìn)行統(tǒng)一部署，各個省分僅僅是做數(shù)據(jù)的采集，按照業(yè)務(wù)實時性將數(shù)據(jù)傳送到集團(tuán)公司，由集團(tuán)公司統(tǒng)一處理。 ”,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,大數(shù)據(jù)涉及的關(guān)鍵技術(shù)

10、,,需求,技術(shù)描述,關(guān)鍵技術(shù),,海量數(shù)據(jù)分布式處理,Hadoop 生態(tài)系統(tǒng),針對大量數(shù)據(jù)進(jìn)行分布式處理的系統(tǒng)框架,實時數(shù)據(jù)處理,Streaming Data,流計算引擎,,非結(jié)構(gòu)化數(shù)據(jù)處理,文本處理技術(shù)；自然語言理解； 多媒體處理技術(shù)…,文本內(nèi)容分詞與分析；圖像、音視頻分析,,可視化交互界面,通過交互式可視化界面輔助用戶進(jìn)行分析,交互式可視化探索分析技術(shù),,,智能數(shù)據(jù)分析,大規(guī)模機(jī)器學(xué)習(xí)技術(shù),計算機(jī)模擬人類學(xué)習(xí)行為，包括特征提取、圖形生

11、成等,,保護(hù)隱私數(shù)據(jù)與信息個體的對應(yīng)關(guān)系等安全技術(shù),高效存儲和管理大規(guī)模數(shù)據(jù),數(shù)據(jù)存儲備份技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源,存儲、放置、調(diào)度大規(guī)模的數(shù)據(jù),數(shù)據(jù)隱私保護(hù),數(shù)據(jù)隱私防范保護(hù)措施與數(shù)據(jù)安全技術(shù),,大數(shù)據(jù)采集處理,,大數(shù)據(jù)分析,,存儲、組織、管理,大數(shù)據(jù)技術(shù)處于快速成熟階段,Gartner 新興技術(shù) Hyper 曲線 (2012年),達(dá)到成熟期尚需時間,Gartner 新興技術(shù) Hyper 曲線 (2011年),,,僅一年時間

12、，大數(shù)據(jù)技術(shù)就取得快速成長。仍處于上升通道，處于期望膨脹期（Peak of Inflated Expectation）需2-5年才能達(dá)到成熟期，成為主要應(yīng)用技術(shù)。,,,各IT廠家紛紛快速跟進(jìn)大數(shù)據(jù)技術(shù),“大數(shù)據(jù)”對信息處理設(shè)施和技術(shù)提出了更高的要求 全球主流IT廠家紛紛加大在大數(shù)據(jù)領(lǐng)域的投入，行業(yè)價值快速增長,目錄,大數(shù)據(jù)發(fā)展趨勢概述大數(shù)據(jù)關(guān)鍵技術(shù)分析電信大數(shù)據(jù)策略建議,,傳統(tǒng)數(shù)據(jù)主要來自于業(yè)務(wù)運營支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，比

13、如財務(wù)收入、業(yè)務(wù)發(fā)展量等結(jié)構(gòu)化數(shù)據(jù)；當(dāng)前爆炸式增長的新數(shù)據(jù)主要來源于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等，比如圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化新數(shù)據(jù)和結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)一起構(gòu)成大數(shù)據(jù)。,,大數(shù)據(jù),傳統(tǒng)數(shù)據(jù),客戶資料,訂單數(shù)據(jù),產(chǎn)品數(shù)據(jù),物資數(shù)據(jù),財務(wù)數(shù)據(jù),信令數(shù)據(jù),網(wǎng)管數(shù)據(jù),實時監(jiān)控視頻,傳感器數(shù)據(jù),即時通信數(shù)據(jù),視頻文件,客戶賬單,……,價值密度由高到低,,,網(wǎng)上交易數(shù)據(jù),微博數(shù)據(jù),上網(wǎng)行為數(shù)據(jù),位置數(shù)據(jù),圖片,音頻,網(wǎng)頁,日志,結(jié)構(gòu)化

14、數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)定義：結(jié)構(gòu)化數(shù)據(jù)是能夠用數(shù)據(jù)庫二維表來邏輯表達(dá)的數(shù)據(jù)；其他為非結(jié)構(gòu)化數(shù)據(jù)。,大數(shù)據(jù)是傳統(tǒng)數(shù)據(jù)的延伸，是對傳統(tǒng)數(shù)據(jù)在深度和廣度上的補(bǔ)充,,,,,,,大數(shù)據(jù)為電信帶來新的機(jī)遇,,對數(shù)據(jù)的有效利用日益成為中國電信進(jìn)一步發(fā)展的關(guān)鍵發(fā)現(xiàn)需求/業(yè)務(wù)創(chuàng)新：對市場保持足夠的敏銳度，及時捕捉市場空白，并迅速作出響應(yīng)吸引和留住用戶：快速滿足用戶個性化需求，成功吸引用戶注意力和增加用戶黏性,大數(shù)據(jù)將成為中國電信發(fā)展的核心驅(qū)動引擎,電信擁

15、有豐富的數(shù)據(jù)來源客戶資料產(chǎn)品信息行為數(shù)據(jù)位置數(shù)據(jù)數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)…完善360度客戶視圖幫助我們回答我是誰？我是一個怎樣的人？幫助我們進(jìn)一步的了解事物之間的內(nèi)在聯(lián)系幫助我們了解周圍有多少人和自己有相同特征，他們有什么有趣的新發(fā)現(xiàn),大數(shù)據(jù)對電信的主要核心價值——客戶深度洞察,信息獲取的及時性和價值成正比，而及時性主要由數(shù)據(jù)處理速度和結(jié)果獲取速度決定。大數(shù)據(jù)新的處理及應(yīng)用技術(shù)有效提升信息獲取及時性流處理和分布式計算技術(shù)有效

16、提升數(shù)據(jù)處理的速度移動BI等能夠?qū)⒏黝悎D表直觀快速的傳遞給用戶，提高決策的有效性可視化技術(shù)提供了一種對已有預(yù)測進(jìn)行檢驗，對未知信息進(jìn)行探索，實現(xiàn)快速、可檢驗和易理解的評估的手段,大數(shù)據(jù)對電信的主要核心價值——及時有效決策支持,,,,,大數(shù)據(jù)應(yīng)用,獲取并處理DPI數(shù)據(jù)，分析用戶行為特征等根據(jù)用戶行為偏好，推送相關(guān)業(yè)務(wù)按照流量價值分級經(jīng)營,優(yōu)化產(chǎn)品、套餐等，提供個性化定制能力根據(jù)用戶等級提供差異化服務(wù),實時采集處理信令據(jù)，監(jiān)控網(wǎng)絡(luò)

17、狀況實現(xiàn)網(wǎng)絡(luò)、應(yīng)用和用戶的智能指配指導(dǎo)網(wǎng)絡(luò)規(guī)劃,將數(shù)據(jù)封裝成服務(wù)，提供給企業(yè)所有用戶提供數(shù)據(jù)分析開放能力,電信大數(shù)據(jù)應(yīng)用的主要場景,,,,大數(shù)據(jù)在管理、技術(shù)和應(yīng)用上帶來的挑戰(zhàn),,,,,,,,,,,,,,大數(shù)據(jù)挑戰(zhàn),大數(shù)據(jù)如何有效組織和管理？大數(shù)據(jù)時代如何保護(hù)數(shù)據(jù)安全？保護(hù)用戶隱私？大數(shù)據(jù)如何保障其數(shù)據(jù)質(zhì)量？,如何從海量數(shù)據(jù)中發(fā)掘數(shù)據(jù)價值？現(xiàn)有數(shù)據(jù)應(yīng)用模式已經(jīng)難以適應(yīng)大數(shù)據(jù)持續(xù)優(yōu)化的需求,大數(shù)據(jù)技術(shù)架構(gòu)挑戰(zhàn),大數(shù)據(jù)應(yīng)用挑戰(zhàn),

18、大數(shù)據(jù)管理挑戰(zhàn),,大數(shù)據(jù)對存儲、網(wǎng)絡(luò)等提出了更高要求；多源異構(gòu)大規(guī)模數(shù)據(jù)的采集、整合面臨挑戰(zhàn)；,中國電信大數(shù)據(jù)應(yīng)對策略與建議,加強(qiáng)技術(shù)儲備，有序開展大數(shù)據(jù)關(guān)鍵技術(shù)研究與驗證非結(jié)構(gòu)化數(shù)據(jù)處理、交互式可視化分析、流計算…找準(zhǔn)切入點，盡快推動大數(shù)據(jù)技術(shù)應(yīng)用試驗，為大規(guī)模應(yīng)用、推廣奠定基礎(chǔ)智能管道：流量經(jīng)營、定向廣告服務(wù)、實時位置營銷...綜合平臺：數(shù)據(jù)服務(wù)、數(shù)據(jù)能力開放…加強(qiáng)人才培養(yǎng)，持續(xù)優(yōu)化組織架構(gòu)，適應(yīng)大數(shù)據(jù)運營要求著力培養(yǎng)

19、“業(yè)務(wù)+數(shù)據(jù)+技術(shù)”專業(yè)化人才隊伍建立大數(shù)據(jù)集約化聯(lián)合運營團(tuán)隊，構(gòu)建“管理+生產(chǎn)+研發(fā)”一體化運作體系,集團(tuán)統(tǒng)籌大數(shù)據(jù)技術(shù)及應(yīng)用研究，加大技術(shù)儲備和人才隊伍建設(shè)，迎接大數(shù)據(jù)時代的到來。,應(yīng)對措施,總體思路,擁有龐大、高質(zhì)量數(shù)據(jù)，能夠從移動互聯(lián)網(wǎng)、互聯(lián)網(wǎng)等接入端獲取到大量用戶行為數(shù)據(jù)；電信的IDC、光網(wǎng)城市，為大數(shù)據(jù)應(yīng)用的存儲、計算和傳輸提供了良好基礎(chǔ)；以數(shù)據(jù)為驅(qū)動的營銷支撐體系基本形成，為大數(shù)據(jù)價值轉(zhuǎn)換和顯現(xiàn)提供良好基礎(chǔ)；,現(xiàn)有