云展大數(shù)據(jù)機(jī)-yzbigdata

1、云展大數(shù)據(jù)機(jī),新加坡國立大學(xué)/浙江大學(xué)數(shù)據(jù)庫研究組,團(tuán)隊(duì)簡介,新加坡國立大學(xué)2011年美國新聞（US　News）的大學(xué)排名中為第28名，亞洲第三名2011-2012泰晤士報(bào)大學(xué)排名中為世界第40名，亞洲第三名2012 QS World University Rankings的計(jì)算機(jī)系排名，國立大學(xué)排第9名基于新加坡國立大學(xué)計(jì)算機(jī)系數(shù)據(jù)庫組的研究團(tuán)隊(duì)教授博士導(dǎo)師：3人博士后：3人博士生：16人碩士生：10人研究助理：8人

2、,團(tuán)隊(duì)帶頭人,黃銘鈞(Ooi Beng Chin)教授現(xiàn)任新加坡國立大學(xué)計(jì)算機(jī)學(xué)院院長ACM和IEEE雙料院士2009年SIGMOD貢獻(xiàn)獎(jiǎng)2011年新加坡科學(xué)家總統(tǒng)獎(jiǎng)2012年IEEE Computer Society Kanai獎(jiǎng)國際知名刊物TKDE的主編曾多次擔(dān)任國際頂級會(huì)議SIGMOD, VLDB, ICDE的執(zhí)行委員會(huì)主席共發(fā)表國際論文200多篇,團(tuán)隊(duì)帶頭人,陳剛教授浙江大學(xué)計(jì)算機(jī)學(xué)院副院長 近五年來共在研和

3、完成國家863計(jì)劃項(xiàng)目四項(xiàng)、國防預(yù)研項(xiàng)目四項(xiàng)，國家計(jì)委產(chǎn)業(yè)化前期項(xiàng)目一項(xiàng) 獲國家科技進(jìn)步二等獎(jiǎng)一項(xiàng)、國家科技進(jìn)步三等獎(jiǎng)一項(xiàng)、浙江省科技進(jìn)步一等獎(jiǎng)二項(xiàng)、教育部科技進(jìn)步二等獎(jiǎng)一項(xiàng)，年度浙江省科技進(jìn)步三等獎(jiǎng)一項(xiàng) 開發(fā)國產(chǎn)數(shù)據(jù)庫神舟Oscar系統(tǒng),云展大數(shù)據(jù)機(jī)概述,定位：國內(nèi)大數(shù)據(jù)分析平臺(tái)，為應(yīng)用開發(fā)提供支撐特色：軟硬件一體化設(shè)計(jì)對大數(shù)據(jù)分析應(yīng)用開發(fā)全周期的支持大數(shù)據(jù)收集大數(shù)據(jù)編目（元數(shù)據(jù)管理）大數(shù)據(jù)并行處理引擎數(shù)據(jù)可視化、知

4、識查詢性能卓越云計(jì)算技術(shù)并行處理技術(shù),國內(nèi)大數(shù)據(jù)市場形勢分析,數(shù)據(jù)來源：CCW Research（計(jì)世資訊 ）是ICT產(chǎn)業(yè)權(quán)威的市場研究和咨詢機(jī)構(gòu)市場規(guī)模2011年開始起步，2012-2016，高速發(fā)展2012年為4.7億元，每年超過100%的增長速度,大數(shù)據(jù)分析市場行業(yè)分布,2012年大數(shù)據(jù)分析需求行業(yè)分布政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場份額。結(jié)論：各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用的需求，潛

5、在市場空間非?？捎^。,云展大數(shù)據(jù)機(jī),,收集網(wǎng)站日志,交易數(shù)據(jù),音頻視頻數(shù)據(jù),即時(shí)信息……,可擴(kuò)展數(shù)據(jù)采集框架,數(shù)據(jù)導(dǎo)入,元數(shù)據(jù)管理分布式大數(shù)據(jù)存儲(chǔ),確立分析目標(biāo)編寫分析程序,大數(shù)據(jù)并行處理引擎,為分析目標(biāo)生成報(bào)表,趨勢圖等,圖表生成工具,大數(shù)據(jù)分析應(yīng)用,大數(shù)據(jù)分析平臺(tái),,云展大數(shù)據(jù)機(jī)—軟件架構(gòu),,數(shù)據(jù)收集框架,基于分布式文件系統(tǒng)的數(shù)據(jù)存儲(chǔ),,,元數(shù)據(jù)管理,E3大數(shù)據(jù)并行處理框架,,SQL接口,E3編程接口,MapReduce接口,可

6、視化工具,大數(shù)據(jù)知識庫,,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,云展大數(shù)據(jù)機(jī)—硬件架構(gòu),標(biāo)準(zhǔn)機(jī)架式設(shè)計(jì)每個(gè)機(jī)架可容納40臺(tái)節(jié)點(diǎn)機(jī)節(jié)點(diǎn)機(jī)通過千兆以太網(wǎng)連接節(jié)點(diǎn)機(jī)采用標(biāo)準(zhǔn)PC服務(wù)器可擴(kuò)展到20個(gè)機(jī)架原型機(jī)：awan（2個(gè)機(jī)架，76臺(tái)節(jié)點(diǎn)機(jī)）,云展關(guān)鍵技術(shù)——E3引擎,E3將數(shù)據(jù)處理過程描述為一個(gè)線性工作流，工作流中每一個(gè)節(jié)點(diǎn)稱為一個(gè)階段，每階段包含若干處理單元，每個(gè)處理單元對數(shù)據(jù)進(jìn)行部分處理。E3按照工作流的順序，并行地調(diào)度處理單

7、元在計(jì)算節(jié)點(diǎn)上運(yùn)行，自動(dòng)在處理單元之間傳遞中間運(yùn)算結(jié)果，最終完成整個(gè)數(shù)據(jù)處理過程。,pu1,pu1,pu1,pu1,pu2,pu2,pu3,pu4,pu4,pu5,pu5,pu5,云數(shù)據(jù) 存儲(chǔ)服務(wù),云 數(shù)據(jù)存儲(chǔ)服務(wù),,,PU – processing unit （處理單元）,E3與阿帕奇Hadoop的性能比較,Grep任務(wù)：每個(gè)節(jié)點(diǎn)535MSelect任務(wù)：每個(gè)節(jié)點(diǎn)1G,Grep任務(wù),Select任務(wù),混合式數(shù)據(jù)分析工具,同時(shí)支持非結(jié)

8、構(gòu)化的文本分析和結(jié)構(gòu)化的數(shù)據(jù)庫分析建立在統(tǒng)一的E3引擎之上，能夠進(jìn)行交互和聯(lián)合分析支持對海量數(shù)據(jù)的快速分析，發(fā)現(xiàn)其中隱藏的知識、行為模式等提供描述語言，支持用戶進(jìn)行自定義的數(shù)據(jù)分析,,文本分析工具,結(jié)構(gòu)化數(shù)據(jù)分析工具,非機(jī)構(gòu)化分析工具,分布式存儲(chǔ)和處理模型無需定義表結(jié)構(gòu)數(shù)據(jù)直接存儲(chǔ)與分布式文件系統(tǒng)中自動(dòng)錯(cuò)誤處理和恢復(fù)基本的數(shù)據(jù)訪問接口put/get: 隨機(jī)的文檔數(shù)據(jù)讀取scan: 批量數(shù)據(jù)掃描tokenize: 將

9、文檔組織成單詞組以提供給上層分析處理分析數(shù)據(jù)接口Extract operator [?]: 提供基于正則表達(dá)式和字典的匹配操作Select operator [σ]: 提供基于用戶選擇條件的過濾操作Join operator [?]: 將來自多個(gè)數(shù)據(jù)源的文檔/文字流進(jìn)行合并Consolidate operator [Ω]: 去重操作提供類似于SQL的文本處理分析語言: EPQL,非結(jié)構(gòu)化處理流程,每一個(gè)EPQL將對特定集合的

10、文檔進(jìn)行處理每個(gè)文檔將通過4個(gè)操作的處理，然后中間結(jié)果傳給連接操作和去重操作結(jié)果將是符合用戶要求的文檔或統(tǒng)計(jì)內(nèi)容，比如：查找所有包含關(guān)鍵詞：[Cloud] [Computing]，在2012年產(chǎn)生的網(wǎng)頁統(tǒng)計(jì)近一個(gè)月內(nèi)，出現(xiàn)包含釣魚島的文檔與包含日本車銷量內(nèi)容的文檔的關(guān)聯(lián)度,文本分析示例：用戶反饋信息分析,在電子商務(wù)網(wǎng)站，如京東等，用戶購買結(jié)束后，會(huì)對產(chǎn)品購買過程及產(chǎn)品本身進(jìn)行評價(jià)，通過分析用戶的反饋信息，可以發(fā)現(xiàn)其中的問題,結(jié)構(gòu)

11、化數(shù)據(jù)分析,結(jié)構(gòu)化數(shù)據(jù)分析通過維護(hù)并定期更新data cube的方式來提供高效的分析查詢結(jié)果根據(jù)時(shí)間戳來實(shí)現(xiàn)同時(shí)支持實(shí)時(shí)事務(wù)處理和分析查詢,,數(shù)據(jù)分片,分布式索引技術(shù),在結(jié)構(gòu)化分析工具中，系統(tǒng)建立多維的分布式索引以支持高效的并行查找分布式索引技術(shù)建立分布式二級索引支持并發(fā)地在多節(jié)點(diǎn)上同時(shí)查詢可以和本地?cái)?shù)據(jù)庫索引連接例如：分布式B樹索引結(jié)構(gòu)，,可視化工具,將分析結(jié)果以報(bào)表的形式展現(xiàn)給用戶支持線圖、餅圖、柱裝圖、趨勢圖等常用的

12、圖表格式標(biāo)簽云以及數(shù)據(jù)關(guān)聯(lián)挖掘,云展大數(shù)據(jù)機(jī)與其他大數(shù)據(jù)分析平臺(tái)的比較,分析案例：95598客服服務(wù),主要功能包括客戶檔案查詢、電量電費(fèi)查詢、業(yè)務(wù)辦理進(jìn)度查詢，以及業(yè)務(wù)受理、故障報(bào)修、咨詢受理、投訴舉報(bào)、消息訂閱主要業(yè)務(wù)流程,,,,客戶電話記錄,語音記錄,用戶電話,客戶電話記錄,由客服人員手工錄入，包括：電話起止時(shí)間客戶身份信息原因（歸類為:電費(fèi)查詢、投訴、保修等幾大類）簡單內(nèi)容概述（不完整，客戶人員匆匆記錄）當(dāng)前的處理方

13、式——簡單的統(tǒng)計(jì)信息：平均電話時(shí)常客戶分布信息每種電話的統(tǒng)計(jì)百分比缺乏深度的分析用戶因?yàn)槭裁炊对V，這種投訴是否是普遍存在的每個(gè)用戶是否通過撥打955598電話完成了他的請求,語音記錄,用戶和客服之間的對話會(huì)被完整記錄為語音文件語音文件包含了豐富的信息：用戶打電話的主要原因客服的服務(wù)態(tài)度客服的服務(wù)能力用戶的滿意度因?yàn)槿鄙傧嚓P(guān)工具，當(dāng)前采用人員采樣收聽的策略，效率低，覆蓋率低,,針對客服信息的大數(shù)據(jù)分析,用戶數(shù)據(jù),

14、,,云展數(shù)據(jù)倉庫,導(dǎo)入,,混合數(shù)據(jù)分析,改進(jìn)業(yè)務(wù)流程,,,產(chǎn)生新的數(shù)據(jù),,關(guān)聯(lián),,翻譯,關(guān)鍵技術(shù)——非結(jié)構(gòu)化語音分析,,,客服信息,用戶信息,語音語調(diào)分析，看是否按照規(guī)定的態(tài)度服務(wù),記錄了用戶的投訴內(nèi)容和對服務(wù)的滿意度,,內(nèi)容分割：按照音色音域,分析結(jié)果——用戶滿意度,用戶撥打客服電話都是有一定的目的，目的達(dá)到與否則表示了客服的成功率通過對用戶的語義、情緒分析，符合下列模型的，分析認(rèn)為是正確滿足用戶需求的,不滿,憤怒,疑問,,稱贊,

15、感謝,釋疑,平靜,分析結(jié)果——客服質(zhì)量,客服質(zhì)量定義為：單位時(shí)間內(nèi)滿足的用戶數(shù)量對某一特定客服人員：,分析結(jié)果——熱點(diǎn)分析,通過整理分析用戶通話內(nèi)容得到用戶投訴的主要目的使用數(shù)據(jù)挖掘和數(shù)據(jù)可視化來統(tǒng)計(jì)關(guān)鍵問題支持海量數(shù)據(jù)的快速處理分析客戶通話內(nèi)容,按照詞頻構(gòu)造標(biāo)簽云：,關(guān)鍵技術(shù)——分結(jié)構(gòu)化數(shù)據(jù)分析,系統(tǒng)支持按照關(guān)鍵詞（一個(gè)或多個(gè)）將錄音電話切片分類比如，要查找關(guān)于“電費(fèi)”相關(guān)的記錄中主要的投訴內(nèi)容通過索引和分布式處理機(jī)制，可

16、以快速的生成新的統(tǒng)計(jì)數(shù)據(jù)（類似于在數(shù)據(jù)倉庫中做切片操作）：,關(guān)鍵技術(shù)——結(jié)構(gòu)化/分結(jié)構(gòu)化混合分析,客服內(nèi)容由兩部分：關(guān)于電話基本信息的關(guān)系數(shù)據(jù)，具體的語音信息關(guān)聯(lián)分析將兩者結(jié)合起來進(jìn)行深度分析：電話耗時(shí)10分鐘以下和10分鐘以上的用戶滿意度統(tǒng)計(jì)分布在不同區(qū)域的用戶滿意度統(tǒng)計(jì)收入在不同范圍的用戶關(guān)心的主要問題客服填寫的簡要信息是否和用戶錄音記錄一致客戶電話主要集中來電時(shí)間分布，以及和滿意度的關(guān)聯(lián)度客服的效率和時(shí)間的關(guān)系,其他

17、案例,網(wǎng)易私有云平臺(tái)推進(jìn)企業(yè)內(nèi)數(shù)據(jù)共享、全局信息挖掘與商業(yè)智能,虛擬化,虛擬機(jī)、網(wǎng)絡(luò)、云硬盤,數(shù)據(jù)管理,DDB、對象存儲(chǔ)、文件中心、關(guān)系數(shù)據(jù)存儲(chǔ)、全文檢索、并行分析、Timeline、NewSQL、緩存服務(wù),應(yīng)用架構(gòu),負(fù)載均衡(LVS、反向代理)、DNS、消息隊(duì)列,擴(kuò)展功能,圖像處理、文本分析(分詞、標(biāo)簽、分類)、數(shù)據(jù)挖掘(聚類、關(guān)聯(lián)規(guī)則)、語音處理、GIS,數(shù)據(jù)共享,IP城市庫、樂庫、書庫,用戶管理與監(jiān)控平臺(tái),管理員運(yùn)維平臺(tái),應(yīng)用平