云展大數(shù)據(jù)機-yzbigdata

1、云展大數(shù)據(jù)機,新加坡國立大學(xué)/浙江大學(xué)數(shù)據(jù)庫研究組,團隊簡介,新加坡國立大學(xué)2011年美國新聞（US　News）的大學(xué)排名中為第28名，亞洲第三名2011-2012泰晤士報大學(xué)排名中為世界第40名，亞洲第三名2012 QS World University Rankings的計算機系排名，國立大學(xué)排第9名基于新加坡國立大學(xué)計算機系數(shù)據(jù)庫組的研究團隊教授博士導(dǎo)師：3人博士后：3人博士生：16人碩士生：10人研究助理：8人

2、,團隊帶頭人,黃銘鈞(Ooi Beng Chin)教授現(xiàn)任新加坡國立大學(xué)計算機學(xué)院院長ACM和IEEE雙料院士2009年SIGMOD貢獻獎2011年新加坡科學(xué)家總統(tǒng)獎2012年IEEE Computer Society Kanai獎國際知名刊物TKDE的主編曾多次擔任國際頂級會議SIGMOD, VLDB, ICDE的執(zhí)行委員會主席共發(fā)表國際論文200多篇,團隊帶頭人,陳剛教授浙江大學(xué)計算機學(xué)院副院長 近五年來共在研和

3、完成國家863計劃項目四項、國防預(yù)研項目四項，國家計委產(chǎn)業(yè)化前期項目一項 獲國家科技進步二等獎一項、國家科技進步三等獎一項、浙江省科技進步一等獎二項、教育部科技進步二等獎一項，年度浙江省科技進步三等獎一項 開發(fā)國產(chǎn)數(shù)據(jù)庫神舟Oscar系統(tǒng),云展大數(shù)據(jù)機概述,定位：國內(nèi)大數(shù)據(jù)分析平臺，為應(yīng)用開發(fā)提供支撐特色：軟硬件一體化設(shè)計對大數(shù)據(jù)分析應(yīng)用開發(fā)全周期的支持大數(shù)據(jù)收集大數(shù)據(jù)編目（元數(shù)據(jù)管理）大數(shù)據(jù)并行處理引擎數(shù)據(jù)可視化、知

4、識查詢性能卓越云計算技術(shù)并行處理技術(shù),國內(nèi)大數(shù)據(jù)市場形勢分析,數(shù)據(jù)來源：CCW Research（計世資訊 ）是ICT產(chǎn)業(yè)權(quán)威的市場研究和咨詢機構(gòu)市場規(guī)模2011年開始起步，2012-2016，高速發(fā)展2012年為4.7億元，每年超過100%的增長速度,大數(shù)據(jù)分析市場行業(yè)分布,2012年大數(shù)據(jù)分析需求行業(yè)分布政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。結(jié)論：各個行業(yè)都存在大數(shù)據(jù)應(yīng)用的需求，潛

5、在市場空間非常可觀。,云展大數(shù)據(jù)機,,收集網(wǎng)站日志,交易數(shù)據(jù),音頻視頻數(shù)據(jù),即時信息……,可擴展數(shù)據(jù)采集框架,數(shù)據(jù)導(dǎo)入,元數(shù)據(jù)管理分布式大數(shù)據(jù)存儲,確立分析目標編寫分析程序,大數(shù)據(jù)并行處理引擎,為分析目標生成報表,趨勢圖等,圖表生成工具,大數(shù)據(jù)分析應(yīng)用,大數(shù)據(jù)分析平臺,,云展大數(shù)據(jù)機—軟件架構(gòu),,數(shù)據(jù)收集框架,基于分布式文件系統(tǒng)的數(shù)據(jù)存儲,,,元數(shù)據(jù)管理,E3大數(shù)據(jù)并行處理框架,,SQL接口,E3編程接口,MapReduce接口,可

6、視化工具,大數(shù)據(jù)知識庫,,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,云展大數(shù)據(jù)機—硬件架構(gòu),標準機架式設(shè)計每個機架可容納40臺節(jié)點機節(jié)點機通過千兆以太網(wǎng)連接節(jié)點機采用標準PC服務(wù)器可擴展到20個機架原型機：awan（2個機架，76臺節(jié)點機）,云展關(guān)鍵技術(shù)——E3引擎,E3將數(shù)據(jù)處理過程描述為一個線性工作流，工作流中每一個節(jié)點稱為一個階段，每階段包含若干處理單元，每個處理單元對數(shù)據(jù)進行部分處理。E3按照工作流的順序，并行地調(diào)度處理單

7、元在計算節(jié)點上運行，自動在處理單元之間傳遞中間運算結(jié)果，最終完成整個數(shù)據(jù)處理過程。,pu1,pu1,pu1,pu1,pu2,pu2,pu3,pu4,pu4,pu5,pu5,pu5,云數(shù)據(jù) 存儲服務(wù),云 數(shù)據(jù)存儲服務(wù),,,PU – processing unit （處理單元）,E3與阿帕奇Hadoop的性能比較,Grep任務(wù)：每個節(jié)點535MSelect任務(wù)：每個節(jié)點1G,Grep任務(wù),Select任務(wù),混合式數(shù)據(jù)分析工具,同時支持非結(jié)

8、構(gòu)化的文本分析和結(jié)構(gòu)化的數(shù)據(jù)庫分析建立在統(tǒng)一的E3引擎之上，能夠進行交互和聯(lián)合分析支持對海量數(shù)據(jù)的快速分析，發(fā)現(xiàn)其中隱藏的知識、行為模式等提供描述語言，支持用戶進行自定義的數(shù)據(jù)分析,,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,非機構(gòu)化分析工具,分布式存儲和處理模型無需定義表結(jié)構(gòu)數(shù)據(jù)直接存儲與分布式文件系統(tǒng)中自動錯誤處理和恢復(fù)基本的數(shù)據(jù)訪問接口put/get: 隨機的文檔數(shù)據(jù)讀取scan: 批量數(shù)據(jù)掃描tokenize: 將

9、文檔組織成單詞組以提供給上層分析處理分析數(shù)據(jù)接口Extract operator [?]: 提供基于正則表達式和字典的匹配操作Select operator [σ]: 提供基于用戶選擇條件的過濾操作Join operator [?]: 將來自多個數(shù)據(jù)源的文檔/文字流進行合并Consolidate operator [Ω]: 去重操作提供類似于SQL的文本處理分析語言: EPQL,非結(jié)構(gòu)化處理流程,每一個EPQL將對特定集合的

10、文檔進行處理每個文檔將通過4個操作的處理，然后中間結(jié)果傳給連接操作和去重操作結(jié)果將是符合用戶要求的文檔或統(tǒng)計內(nèi)容，比如：查找所有包含關(guān)鍵詞：[Cloud] [Computing]，在2012年產(chǎn)生的網(wǎng)頁統(tǒng)計近一個月內(nèi)，出現(xiàn)包含釣魚島的文檔與包含日本車銷量內(nèi)容的文檔的關(guān)聯(lián)度,文本分析示例：用戶反饋信息分析,在電子商務(wù)網(wǎng)站，如京東等，用戶購買結(jié)束后，會對產(chǎn)品購買過程及產(chǎn)品本身進行評價，通過分析用戶的反饋信息，可以發(fā)現(xiàn)其中的問題,結(jié)構(gòu)

11、化數(shù)據(jù)分析,結(jié)構(gòu)化數(shù)據(jù)分析通過維護并定期更新data cube的方式來提供高效的分析查詢結(jié)果根據(jù)時間戳來實現(xiàn)同時支持實時事務(wù)處理和分析查詢,,數(shù)據(jù)分片,分布式索引技術(shù),在結(jié)構(gòu)化分析工具中，系統(tǒng)建立多維的分布式索引以支持高效的并行查找分布式索引技術(shù)建立分布式二級索引支持并發(fā)地在多節(jié)點上同時查詢可以和本地數(shù)據(jù)庫索引連接例如：分布式B樹索引結(jié)構(gòu)，,可視化工具,將分析結(jié)果以報表的形式展現(xiàn)給用戶支持線圖、餅圖、柱裝圖、趨勢圖等常用的

12、圖表格式標簽云以及數(shù)據(jù)關(guān)聯(lián)挖掘,云展大數(shù)據(jù)機與其他大數(shù)據(jù)分析平臺的比較,分析案例：95598客服服務(wù),主要功能包括客戶檔案查詢、電量電費查詢、業(yè)務(wù)辦理進度查詢，以及業(yè)務(wù)受理、故障報修、咨詢受理、投訴舉報、消息訂閱主要業(yè)務(wù)流程,,,,客戶電話記錄,語音記錄,用戶電話,客戶電話記錄,由客服人員手工錄入，包括：電話起止時間客戶身份信息原因（歸類為:電費查詢、投訴、保修等幾大類）簡單內(nèi)容概述（不完整，客戶人員匆匆記錄）當前的處理方

13、式——簡單的統(tǒng)計信息：平均電話時?？蛻舴植夹畔⒚糠N電話的統(tǒng)計百分比缺乏深度的分析用戶因為什么而投訴，這種投訴是否是普遍存在的每個用戶是否通過撥打955598電話完成了他的請求,語音記錄,用戶和客服之間的對話會被完整記錄為語音文件語音文件包含了豐富的信息：用戶打電話的主要原因客服的服務(wù)態(tài)度客服的服務(wù)能力用戶的滿意度因為缺少相關(guān)工具，當前采用人員采樣收聽的策略，效率低，覆蓋率低,,針對客服信息的大數(shù)據(jù)分析,用戶數(shù)據(jù),

14、,,云展數(shù)據(jù)倉庫,導(dǎo)入,,混合數(shù)據(jù)分析,改進業(yè)務(wù)流程,,,產(chǎn)生新的數(shù)據(jù),,關(guān)聯(lián),,翻譯,關(guān)鍵技術(shù)——非結(jié)構(gòu)化語音分析,,,客服信息,用戶信息,語音語調(diào)分析，看是否按照規(guī)定的態(tài)度服務(wù),記錄了用戶的投訴內(nèi)容和對服務(wù)的滿意度,,內(nèi)容分割：按照音色音域,分析結(jié)果——用戶滿意度,用戶撥打客服電話都是有一定的目的，目的達到與否則表示了客服的成功率通過對用戶的語義、情緒分析，符合下列模型的，分析認為是正確滿足用戶需求的,不滿,憤怒,疑問,,稱贊,

15、感謝,釋疑,平靜,分析結(jié)果——客服質(zhì)量,客服質(zhì)量定義為：單位時間內(nèi)滿足的用戶數(shù)量對某一特定客服人員：,分析結(jié)果——熱點分析,通過整理分析用戶通話內(nèi)容得到用戶投訴的主要目的使用數(shù)據(jù)挖掘和數(shù)據(jù)可視化來統(tǒng)計關(guān)鍵問題支持海量數(shù)據(jù)的快速處理分析客戶通話內(nèi)容,按照詞頻構(gòu)造標簽云：,關(guān)鍵技術(shù)——分結(jié)構(gòu)化數(shù)據(jù)分析,系統(tǒng)支持按照關(guān)鍵詞（一個或多個）將錄音電話切片分類比如，要查找關(guān)于“電費”相關(guān)的記錄中主要的投訴內(nèi)容通過索引和分布式處理機制，可

16、以快速的生成新的統(tǒng)計數(shù)據(jù)（類似于在數(shù)據(jù)倉庫中做切片操作）：,關(guān)鍵技術(shù)——結(jié)構(gòu)化/分結(jié)構(gòu)化混合分析,客服內(nèi)容由兩部分：關(guān)于電話基本信息的關(guān)系數(shù)據(jù)，具體的語音信息關(guān)聯(lián)分析將兩者結(jié)合起來進行深度分析：電話耗時10分鐘以下和10分鐘以上的用戶滿意度統(tǒng)計分布在不同區(qū)域的用戶滿意度統(tǒng)計收入在不同范圍的用戶關(guān)心的主要問題客服填寫的簡要信息是否和用戶錄音記錄一致客戶電話主要集中來電時間分布，以及和滿意度的關(guān)聯(lián)度客服的效率和時間的關(guān)系,其他

17、案例,網(wǎng)易私有云平臺推進企業(yè)內(nèi)數(shù)據(jù)共享、全局信息挖掘與商業(yè)智能,虛擬化,虛擬機、網(wǎng)絡(luò)、云硬盤,數(shù)據(jù)管理,DDB、對象存儲、文件中心、關(guān)系數(shù)據(jù)存儲、全文檢索、并行分析、Timeline、NewSQL、緩存服務(wù),應(yīng)用架構(gòu),負載均衡(LVS、反向代理)、DNS、消息隊列,擴展功能,圖像處理、文本分析(分詞、標簽、分類)、數(shù)據(jù)挖掘(聚類、關(guān)聯(lián)規(guī)則)、語音處理、GIS,數(shù)據(jù)共享,IP城市庫、樂庫、書庫,用戶管理與監(jiān)控平臺,管理員運維平臺,應(yīng)用平