r在bi中的應(yīng)用和前景

1、R在BI中的應(yīng)用和前景,李艦,2001.09~2005.07 中國人民大學(xué) 統(tǒng)計學(xué)院2005.09~2007.06 北京大學(xué) 軟件與微電子學(xué)院 電子服務(wù)2007.07~2008.10 Siemens Ltd., China, Healthcare, Performance Controlling Finance Analyst2008.11~ 上海源略數(shù)據(jù)服務(wù)有限公司 B

2、I顧問,目錄,BI簡介R在BI中的應(yīng)用一個例子R在BI中的前景,,什么是BI,Business Intelligence，商務(wù)智能,？,OLAP,數(shù)據(jù)挖掘,數(shù)據(jù)倉庫,機器學(xué)習(xí),決策支持,人工智能,專家系統(tǒng),統(tǒng)計學(xué),相關(guān)概念,1950s 人工智能（邏輯推理）1960s 人工智能（決策支持）1970s 人工智能（專家系統(tǒng)）1980s 人工智能（機器學(xué)習(xí)）1980s 數(shù)據(jù)挖掘,統(tǒng)計和數(shù)據(jù)挖掘,相同點基于歷史數(shù)據(jù)思維

3、方式方法和模型不同點學(xué)科背景目的性技術(shù)實現(xiàn),BI與DM，DW，OLAP,DW，數(shù)據(jù)倉庫DM，數(shù)據(jù)挖掘OLAP，聯(lián)機分析處理商務(wù)智能是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息，創(chuàng)造和累計商務(wù)知識和見解，改善商務(wù)決策水平，采取有效的商務(wù)行動，完善各種商務(wù)流程，提升各方面商務(wù)績效，增強綜合競爭力的智慧和能力 。,企業(yè)信息化的發(fā)展,BI,BI常見架構(gòu),,,,,企業(yè)數(shù)據(jù)中心,數(shù)據(jù)倉庫Data Ware

4、house,,,ETL,ETL,,,,數(shù)據(jù)源OLTP 系統(tǒng),OLAP Server,多維數(shù)據(jù)庫,業(yè)務(wù)系統(tǒng),財務(wù)系統(tǒng),銷售系統(tǒng),客服系統(tǒng),,數(shù)據(jù)集市Data mart,數(shù)據(jù)集市Data mart,ETL,ETL,ETL,數(shù)據(jù)挖掘Data Mining,,統(tǒng)計報表,Scoring,Scoring,多維分析,,挖掘分析,查詢及其它應(yīng)用,,分析師,元數(shù)據(jù)(Meta Data)管理,系統(tǒng)管理,目錄,BI簡介R在BI中的應(yīng)用一個例子

5、R在BI中的前景,,MVC三層架構(gòu),View – 表示：顯示輸入輸出數(shù)據(jù)(可以是 HTML，可以是一個 windows 應(yīng)用),Model – 業(yè)務(wù)邏輯和數(shù)據(jù)：基于輸入和定義的業(yè)務(wù)流程執(zhí)行計算 或其它操作,Controller – 協(xié)調(diào)view 和 model，在它們之間交換數(shù)據(jù),,,當(dāng)今流行開發(fā)框架,R的位置,盡可能少寫代碼是系統(tǒng)開發(fā)的趨勢當(dāng)前框架基本已做到只在業(yè)務(wù)邏輯寫代碼面向?qū)ο笈c基于矩陣分析性系統(tǒng)的關(guān)鍵在于數(shù)據(jù)模型R用作

6、分析引擎,相關(guān)平臺,Rserve + JRclienthttp://www.rosuda.org/Rserve/Rserve是一個R的服務(wù)器，供其他程序調(diào)用JRclient是一個JAVA類庫，可看成客戶端其他開源平臺Eclipse + lombozApache TomcatMySQLHibernate + Spring,目錄,BI簡介R在BI中的應(yīng)用一個例子R在BI中的前景,,系統(tǒng)描述,一個小型的OLAP引擎基于

7、MySQL數(shù)據(jù)庫實現(xiàn)基本的OLAP功能建立立方體切片 (slice)上卷 (rollup)鉆透 (drill through)未包含展現(xiàn)層,相關(guān)工具,MySQLRDBI_0.1-10RMySQL_0.5-7,包含函數(shù),cube (str1 , str2 , str3 , str4)slice (CUBE, str, value)drillthrough(CUBE, value1, value2, value3)r

8、ollup (CUBE, str),函數(shù)示例,建立立方體,cube1 <- cube(“dwolap.all.month”,“dwolap.all.classid”,“dwolap.all.totallrange”,“dwolap.all.payment”),沿每單額度上卷,可以發(fā)現(xiàn)第10類商品，也就是類別為1111（酒類）的商品在2月份的銷售額特別高。,在該商品處切片,可以發(fā)現(xiàn)這類商品中交易單等級在第四類的占絕大多數(shù)。(200元

9、到500元間),鉆透,> drillthrough(cube1,"02","1111","4") selltime goodsid transid realprice count payment1 2005-2-5 10:27:08:923

10、 20130008 X20050205010013 35.6 2 64.02 2005-2-5 10:26:47:073 20350004 X20050205010013 22.0 4 88.03 2006-2-11 14:34:40:15 20180114 X20060211020040 4.0

11、 10 40.04 2006-2-14 12:03:14:49 11110086 X20060214020024 33.0 1 33.05 2005-2-6 13:13:46:35 11110015 X20050206010044 38.9 4 155.66 2005-2-13 08:12:

12、19:606 20350013 X20050213010001 37.8 6 226.87 2005-2-4 18:59:18:63 11110018 X20050204010069 15.2 2 30.48 2005-2-4 19:00:23:783 11110007 X20050204010069

13、 57.2 1 57.29 2005-2-6 20:27:45:423 20130037 X20050206010103 45.9 2 73.610 2005-2-6 20:27:39:033 20130034 X20050206010103 88.0 2 176.011 2005-2-4 08:19:2

14、5:983 11110007 X20050204010002 57.2 2 114.412 2005-2-4 08:19:23:43 20350016 X20050204010002 49.0 1 45.013 2006-2-17 09:35:12:81 11110001 X20060217020009 1

15、9.8 1 19.814 2006-2-17 09:38:23:62 20180019 X20060217020009 20.0 2 40.015 2005-2-6 12:05:20:736 11110051 X20050206010028 5.5 24 132.016 2005-2-6 17:22:40:946

16、 11110046 X20050206010081 2.0 48 2160.017 2005-2-10 18:03:45:22 20180203 X20050210010049 480.0 1 480.018 2005-2-4 12:59:09:836 20130037 X20050204010033 45.9 1

17、 36.8,目錄,BI簡介R在BI中的應(yīng)用一個例子R在BI中的前景,,市面上的BI產(chǎn)品,07年10月，BO被SAP收購07年11月，Cognos被IBM收購,定制BI系統(tǒng)的優(yōu)勢,更靈活分析功能強節(jié)約成本更能適應(yīng)需求開源,開源的BI工具——,Mondrian是開源項目Pentaho的一部分，是一個用Java寫成的OLAP引擎。它實現(xiàn)了MDX語言、XML解析、JOLAP規(guī)范。 Mondrian支持的數(shù)據(jù)庫或