spark編程基礎(chǔ)-廈門大學(xué)數(shù)據(jù)庫實驗室

1、,,廈門大學(xué)計算機科學(xué)系 2018版,林子雨廈門大學(xué)計算機科學(xué)系E-mail: ziyulin@xmu.edu.cn主頁：http://www.cs.xmu.edu.cn/linziyu,《 Spark編程基礎(chǔ)》課程介紹（PPT版本號：2018年2月）,,,《Spark編程基礎(chǔ)》教材

2、官網(wǎng)： http://dblab.xmu.edu.cn/post/spark/,溫馨提示：編輯幻燈片母版，可以修改每頁PPT的廈大?；蘸偷撞课淖?掃一掃訪問教材官網(wǎng),提綱,1.學(xué)習(xí)路線2.先修課程3.課程特色4.教材介紹5.內(nèi)容提要6.教學(xué)大綱7.配套資源,百度搜索廈門大學(xué)數(shù)據(jù)庫實驗室網(wǎng)站訪問平臺,主講教師,主講教師：林子雨,中國高校首個“數(shù)字教師”提出者和建設(shè)者2009年7月從事教師職業(yè)以來累計免費網(wǎng)絡(luò)發(fā)布超過500萬

3、字高價值教學(xué)和科研資料網(wǎng)絡(luò)瀏覽量超過500萬次,數(shù)字教師LOGO,大數(shù)據(jù)學(xué)習(xí)路線圖,大數(shù)據(jù)學(xué)習(xí)路線圖訪問地址：http://dblab.xmu.edu.cn/post/10164/,大數(shù)據(jù)學(xué)習(xí)路線圖,先修課程,在學(xué)習(xí)本課程之前，需要學(xué)生已經(jīng)學(xué)習(xí)過如下課程大數(shù)據(jù)技術(shù)導(dǎo)論比如林子雨編著《大數(shù)據(jù)技術(shù)原理與應(yīng)用》在線視頻： http://dblab.xmu.edu.cn/post/bigdata-online-course/數(shù)據(jù)庫系統(tǒng)

4、原理了解關(guān)系數(shù)據(jù)庫與SQL語句編程比如，C++或者Java，了解面向?qū)ο缶幊袒A(chǔ)知識,先修課程,建議在學(xué)習(xí)本課程之前，先學(xué)習(xí)大數(shù)據(jù)導(dǎo)論課程《大數(shù)據(jù)技術(shù)原理與應(yīng)用》,先修課程,建議在學(xué)習(xí)本課程之前，先學(xué)習(xí)大數(shù)據(jù)導(dǎo)論課程《大數(shù)據(jù)技術(shù)原理與應(yīng)用》,廈門大學(xué)林子雨老師主講《大數(shù)據(jù)技術(shù)原理與應(yīng)用》課程視頻在線課程地址：http://dblab.xmu.edu.cn/post/bigdata-online-course/,課程特色,開啟Sp

5、ark學(xué)習(xí)大門掃除學(xué)習(xí)障礙，鋪平學(xué)習(xí)道路,教材介紹,《Spark編程基礎(chǔ)》廈門大學(xué) 林子雨，賴永炫，陶繼平  編著披荊斬棘，在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑填溝削坎，為快速學(xué)習(xí)Spark技術(shù)鋪平道路深入淺出，有效降低Spark技術(shù)學(xué)習(xí)門檻資源全面，構(gòu)建全方位一站式在線服務(wù)體系,人民郵電出版社出版發(fā)行，ISBN:978-7-115-47598-5教材官網(wǎng)：http://dblab.xmu.edu.cn/post/sp

6、ark/,教材介紹,《Spark編程基礎(chǔ)》,本書以Scala作為開發(fā)Spark應(yīng)用程序的編程語言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識。全書共8章，內(nèi)容包括大數(shù)據(jù)技術(shù)概述、Scala語言基礎(chǔ)、Spark的設(shè)計與運行原理、Spark環(huán)境搭建和使用方法、RDD編程、Spark SQL、Spark Streaming、Spark MLlib等。本書每個章節(jié)都安排了入門級的編程實踐操作，以便讀者更好地學(xué)習(xí)和掌握Spark編程方法。本書官網(wǎng)免費提供

7、了全套的在線教學(xué)資源，包括講義PPT、習(xí)題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機實驗指南等。,教材官網(wǎng)：http://dblab.xmu.edu.cn/post/spark/,教材介紹,如果沒有購買《Spark編程基礎(chǔ)》紙質(zhì)教材，也可以使用Spark在線教程開展學(xué)習(xí)。Spark在線教程，比《Spark編程基礎(chǔ)》紙質(zhì)教材包含了更多的內(nèi)容，并且同時提供了Scala版本和Python版本的兩種Spark編程教程。在具體知識點方面，《Spark

8、編程基礎(chǔ)》紙質(zhì)教材，要比Spark在線教程寫得更加規(guī)范、詳細(xì)和深入。二者各有千秋，可以結(jié)合使用。,Spark在線教程地址： http://dblab.xmu.edu.cn/blog/spark/,內(nèi)容提要,Spark是當(dāng)前熱門的大數(shù)據(jù)處理技術(shù)本課程重點介紹Spark的技術(shù)原理與編程方法Spark支持采用Scala、Java、Python和R語言進(jìn)行編程，本課程采用Scala語言編寫Spark應(yīng)用程序課程內(nèi)容包括Scala語言、Sp

9、ark簡介、安裝、運行架構(gòu)、RDD的設(shè)計與運行原理、部署模式、RDD編程、鍵值對RDD、數(shù)據(jù)讀寫、Spark SQL、Spark Streaming等通過本課程的學(xué)習(xí)，將幫助學(xué)生形成基礎(chǔ)的Spark應(yīng)用程序編程能力，為學(xué)生使用Spark技術(shù)解決實際科研問題和未來從事大數(shù)據(jù)相關(guān)工作奠定基礎(chǔ),教學(xué)大綱,課程配套教學(xué)資源,掃一掃訪問平臺主頁,高校大數(shù)據(jù)課程公共服務(wù)平臺精華資源http://dblab.xmu.edu.cn/post/8197

10、/,掃一掃觀看3分鐘FLASH動畫宣傳片,所有資料全部免費共享支持電腦和手機瀏覽,課程配套教學(xué)資源,課程視頻,課程在線視頻地址：http://dblab.xmu.edu.cn/post/10482/,課程配套教學(xué)資源,實驗1-Linux系統(tǒng)的安裝和常用命令實驗2-Scala編程初級實踐實驗3-Spark和Hadoop的安裝實驗4-RDD編程初級實踐實驗5-Spark SQL編程初級實踐實驗6-Spark Streaming編

11、程初級實踐實驗7-Spark機器學(xué)習(xí)庫MLlib編程實踐,課程實驗,可以訪問教材官網(wǎng)獲取以上課程實驗http://dblab.xmu.edu.cn/post/spark/,課程配套教學(xué)資源,本案例涉及數(shù)據(jù)預(yù)處理、存儲、查詢和可視化分析等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系統(tǒng)和軟件的安裝和使用方法,案例訪問地址：http://

12、dblab.xmu.edu.cn/post/8116/,Spark課程綜合實驗案例1：淘寶雙11數(shù)據(jù)分析與預(yù)測,課程配套教學(xué)資源,由廈門大學(xué)數(shù)據(jù)庫實驗室團隊開發(fā)，旨在滿足全國高校大數(shù)據(jù)教學(xué)對實驗案例的迫切需求。本案例涉及數(shù)據(jù)預(yù)處理、消息隊列發(fā)送和接收消息、數(shù)據(jù)實時處理、數(shù)據(jù)實時推送和實時展示等數(shù)據(jù)處理全流程所涉及的各種典型操作，涵蓋Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、

13、sockert.io.js、PyCharm等系統(tǒng)和軟件的安裝和使用方法。案例適合高校（高職）大數(shù)據(jù)教學(xué)，可以作為學(xué)生學(xué)習(xí)大數(shù)據(jù)課程后的綜合實踐案例。,免費在線實驗案例主頁：http://dblab.xmu.edu.cn/post/8274/,課程實驗案例2：Spark+Kafka構(gòu)建實時分析Dashboard案例,附錄A：主講教師林子雨簡介,,單位：廈門大學(xué)計算機科學(xué)系E-mail: ziyulin@xmu.edu.cn個人網(wǎng)頁：h

14、ttp://www.cs.xmu.edu.cn/linziyu數(shù)據(jù)庫實驗室網(wǎng)站：http://dblab.xmu.edu.cn,主講教師：林子雨,林子雨，男，1978年出生，博士（畢業(yè)于北京大學(xué)），現(xiàn)為廈門大學(xué)計算機科學(xué)系助理教授（講師），曾任廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院院長助理、晉江市發(fā)展和改革局副局長。中國計算機學(xué)會數(shù)據(jù)庫專業(yè)委員會委員，中國計算機學(xué)會信息系統(tǒng)專業(yè)委員會委員。國內(nèi)高校首個“數(shù)字教師”提出者和建設(shè)者，廈門大學(xué)數(shù)據(jù)庫實驗

15、室負(fù)責(zé)人，廈門大學(xué)云計算與大數(shù)據(jù)研究中心主要建設(shè)者和骨干成員，2013年度和2017年度廈門大學(xué)教學(xué)類獎教金獲得者，榮獲2017年福建省精品在線開放課程、2017年福建省本科優(yōu)秀特色教材和2017年廈門大學(xué)高等教育成果二等獎。主要研究方向為數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)，并以第一作者身份在《軟件學(xué)報》《計算機學(xué)報》和《計算機研究與發(fā)展》等國家重點期刊以及國際學(xué)術(shù)會議上發(fā)表多篇學(xué)術(shù)論文。作為項目負(fù)責(zé)人主持的科研項目包括

16、1項國家自然科學(xué)青年基金項目(No.61303004)、1項福建省自然科學(xué)青年基金項目(No.2013J05099)和1項中央高?；究蒲袠I(yè)務(wù)費項目(No.2011121049)，主持的教改課題包括1項2016年福建省教改課題和1項2016年教育部產(chǎn)學(xué)協(xié)作育人項目，同時，作為課題負(fù)責(zé)人完成了國家發(fā)改委城市信息化重大課題、國家物聯(lián)網(wǎng)重大應(yīng)用示范工程區(qū)域試點泉州市工作方案、2015泉州市互聯(lián)網(wǎng)經(jīng)濟調(diào)研等課題。中國高校首個“數(shù)字教師”提出者和

17、建設(shè)者，2009年至今，“數(shù)字教師”大平臺累計向網(wǎng)絡(luò)免費發(fā)布超過500萬字高價值的研究和教學(xué)資料，累計網(wǎng)絡(luò)訪問量超過500萬次。打造了中國高校大數(shù)據(jù)教學(xué)知名品牌，編著出版了中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材《大數(shù)據(jù)技術(shù)原理與應(yīng)用》，并成為京東、當(dāng)當(dāng)網(wǎng)等網(wǎng)店暢銷書籍；建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，為教師教學(xué)和學(xué)生學(xué)習(xí)大數(shù)據(jù)課程提供全方位、一站式服務(wù)，年訪問量超過100萬次。,掃一掃訪問個人主頁,附錄B：大數(shù)據(jù)學(xué)習(xí)路線圖

18、,大數(shù)據(jù)學(xué)習(xí)路線圖訪問地址：http://dblab.xmu.edu.cn/post/10164/,附錄C：《大數(shù)據(jù)技術(shù)原理與應(yīng)用》教材,歡迎訪問《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用》教材官方網(wǎng)站：http://dblab.xmu.edu.cn/post/bigdata,掃一掃訪問教材官網(wǎng),《大數(shù)據(jù)技術(shù)原理與應(yīng)用——概念、存儲、處理、分析與應(yīng)用（第2版）》，由廈門大學(xué)計算機科學(xué)系林子雨博士編著，是國內(nèi)高校第一本系統(tǒng)介紹

19、大數(shù)據(jù)知識的專業(yè)教材。人民郵電出版社 ISBN:978-7-115-44330-4 定價：49.80元全書共有15章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù) 庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、Spark、流計算、圖計算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapR

20、educe等重要章節(jié)，安排了入門級的實踐操作，讓讀者更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。本書可以作為高等院校計算機專業(yè)、信息管理等相關(guān)專業(yè)的大數(shù)據(jù)課程教材，也可供相關(guān)技術(shù)人員參考、學(xué)習(xí)、培訓(xùn)之用。,附錄D：《大數(shù)據(jù)基礎(chǔ)編程、實驗和案例教程》,本書是與《大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）》教材配套的唯一指定實驗指導(dǎo)書,步步引導(dǎo)，循序漸進(jìn)，詳盡的安裝指南為順利搭建大數(shù)據(jù)實驗環(huán)境鋪平道路深入淺出，去粗取精，豐富的代碼實例幫助快速掌握大數(shù)據(jù)基礎(chǔ)編

21、程方法精心設(shè)計，巧妙融合，五套大數(shù)據(jù)實驗題目促進(jìn)理論與編程知識的消化和吸收結(jié)合理論，聯(lián)系實際，大數(shù)據(jù)課程綜合實驗案例精彩呈現(xiàn)大數(shù)據(jù)分析全流程,清華大學(xué)出版社  ISBN:978-7-302-47209-4 定價：59元,附錄E：《Spark編程基礎(chǔ)》,《Spark編程基礎(chǔ)》廈門大學(xué) 林子雨，賴永炫，陶繼平  編著披荊斬棘，在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑填溝削坎，為快速學(xué)習(xí)Spark技術(shù)鋪平道路深入淺出，

22、有效降低Spark技術(shù)學(xué)習(xí)門檻資源全面，構(gòu)建全方位一站式在線服務(wù)體系,本書以Scala作為開發(fā)Spark應(yīng)用程序的編程語言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識。全書共8章，內(nèi)容包括大數(shù)據(jù)技術(shù)概述、Scala語言基礎(chǔ)、Spark的設(shè)計與運行原理、Spark環(huán)境搭建和使用方法、RDD編程、Spark SQL、Spark Streaming、Spark MLlib等。本書每個章節(jié)都安排了入門級的編程實踐操作，以便讀者更好地學(xué)習(xí)和掌握Spar

23、k編程方法。本書官網(wǎng)免費提供了全套的在線教學(xué)資源，包括講義PPT、習(xí)題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機實驗指南等。,人民郵電出版社出版發(fā)行，ISBN:978-7-115-47598-5教材官網(wǎng)：http://dblab.xmu.edu.cn/post/spark/,附錄F：高校大數(shù)據(jù)課程公共服務(wù)平臺,掃一掃訪問平臺主頁,http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/