4大數(shù)據(jù)時代-思維變革---3更好

1、,,,,,1. 大數(shù)據(jù)時代的思維變革,,,,,,,,1. 大數(shù)據(jù)時代的思維變革——更好,“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系,知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。,關(guān)聯(lián)物，預(yù)測的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?林登與亞馬遜推薦系統(tǒng),1997年，林登，亞馬遜，推薦書籍1998年 “item-to-i

2、tem”協(xié)同過濾技術(shù)書評團隊被解散 評論家所創(chuàng)造的銷售業(yè)績計算機生成內(nèi)容所產(chǎn)生的銷售業(yè)績海明威作品與菲茨杰拉德的書知道是什么就夠了，沒必要知道為什么據(jù)說亞馬遜銷售額的三分之一都是來自于它的個性化推薦系統(tǒng)。,關(guān)聯(lián)物，預(yù)測的關(guān)鍵,相關(guān)關(guān)系：相關(guān)關(guān)系的核心是量化兩個數(shù)據(jù)值之間的數(shù)理關(guān)系。強和弱通過給我們找到一個現(xiàn)象的良好的關(guān)聯(lián)物，相關(guān)關(guān)系可以幫助我們捕捉現(xiàn)在和預(yù)測未來。實例：沃爾瑪——蛋撻與颶風(fēng)生活中的相關(guān)關(guān)系身高與前臂

3、的長度小數(shù)據(jù)時代的相關(guān)關(guān)系,,大數(shù)據(jù)時代的相關(guān)關(guān)系谷歌流感預(yù)測：5億個數(shù)學(xué)模型 建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。 數(shù)據(jù)驅(qū)動的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法，取代了基于假想的易出錯的方法。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準確、更快，而且不易受偏見的影響。,實例,FICO提出“遵從醫(yī)囑評分”一系列變量→是否按時吃藥益百利 預(yù)測個人收入信用卡交易記錄→預(yù)測個人收入 1$證明一個人的收入狀況 10$中英人壽

4、保險公司 申請人的健康隱患信用報告、市場分析報告→高血壓、糖尿病和抑郁癥 5$血液尿液樣本 130$美國折扣零售商塔吉特 懷孕預(yù)測,預(yù)測分析法一個能發(fā)現(xiàn)可能的流行歌曲的算法系統(tǒng)防止機器失效和建筑倒塌異常情況與正常情況通過找出一個關(guān)聯(lián)物并監(jiān)控它，我們就能預(yù)測未來。實例：UPS與汽車維修預(yù)測2000年，60000輛 收集和分析數(shù)據(jù)的花費比出現(xiàn)停產(chǎn)的損失小得多。,,當(dāng)收集、存儲和分析數(shù)據(jù)的成本較高的時候，應(yīng)該適當(dāng)

5、地丟棄一些數(shù)據(jù)。醫(yī)療設(shè)備獲取病人的數(shù)據(jù)安大略理工大學(xué) IBM 醫(yī)院卡羅琳·麥格雷戈 檢測處理即時的病人信息 早產(chǎn)兒病情診斷16個數(shù)據(jù)點 1260/秒在明顯感染癥狀出現(xiàn)的24小時之前，可發(fā)現(xiàn)早產(chǎn)兒的穩(wěn)定是病情感染前的準備..,是什么，而不是為什么,在小數(shù)據(jù)時代，相關(guān)關(guān)系分析和因果分析都不容易，都耗費巨大，都要從建立假設(shè)開始。非線性關(guān)系小數(shù)據(jù)時代，計算機能力的不足限制了非線性關(guān)系的研究實例：幸福的非線性關(guān)系

6、因果關(guān)系是否存在不費力的快速思維費力的慢性思維實例：感冒、狂犬疫苗,,我們的直接愿望就是了解因果關(guān)系。即使無因果聯(lián)系存在，我們也還是會假定其存在。研究證明，這只是我們的認知方式，與每個人的文化背景、生長環(huán)境以及教育水平是無關(guān)的。當(dāng)我們看到兩件事情接連發(fā)生的時候，我們會習(xí)慣性地從因果關(guān)系的角度來看待它們?？纯聪旅娴娜湓挘?,弗雷德的父母遲到了；供應(yīng)商快到了；弗雷德生氣了?！ダ椎聻槭裁瓷鷼?快速思維模式使人們偏

7、向用因果聯(lián)系來看待周圍的一切，即使這種關(guān)系并不存在。冬天不戴帽子和感冒,狂犬疫苗這個例子來說，1885年7月6日，法國化學(xué)家路易·巴斯德（Louis Pasteur）接診了一個9歲的小孩約瑟夫·梅斯特（Joseph Meister），他被帶有狂犬病毒的狗咬了。巴斯德剛剛研發(fā)出狂犬疫苗，也實驗驗證過效果了。梅斯特的父母就懇求巴斯德給他們的兒子注射一針。巴斯德做了，梅斯特活了下來。發(fā)布會上，巴斯德因為把一個小男

8、孩從死神手中救出而大受褒獎。一般來說，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。,,相關(guān)關(guān)系很有用，不僅僅是因為它能為我們提供新的視角，而且提供的視角都是很清晰的。而我們一旦把因果關(guān)系考慮進去，這些視角就有可能被蒙蔽掉。實例：kaggle 二手車質(zhì)量競賽 橙色的車因果是相關(guān)關(guān)系的一種。相關(guān)關(guān)系分析通常情況下能取代因果關(guān)系起作用，即使不可取代的情況下，它也能指導(dǎo)因果關(guān)系起作用。實例：曼哈頓沙井蓋的爆炸,改變，從操作開始,實例：

9、曼哈頓沙井蓋爆炸每年，因沙井蓋內(nèi)部失火，紐約每年有很多沙井蓋會發(fā)生爆炸。聯(lián)合愛迪生電力公司（Con Edison）每年都會對沙井蓋進行常規(guī)檢查和維修。2007年，聯(lián)合愛迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計學(xué)家求助，希望他們通過對一些歷史數(shù)據(jù)的研究，預(yù)測出可能會出現(xiàn)問題并且需要維修的沙井蓋。,改變，從操作開始,這是一個復(fù)雜的大數(shù)據(jù)問題。僅紐約，地下電纜就有15萬公里；曼哈頓有大約51000個沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛迪生那

10、個時代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來的數(shù)據(jù)都保存著，卻很雜亂，,改變，從操作開始,這是一個復(fù)雜的大數(shù)據(jù)問題。僅紐約，地下電纜就有15萬公里；曼哈頓有大約51000個沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛迪生那個時代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來的數(shù)據(jù)都保存著，卻很雜亂，,,負責(zé)這個項目的統(tǒng)計學(xué)家辛西亞·魯丁（Cynthia Rudin）將雜亂的數(shù)據(jù)整理

11、好給機器處理發(fā)現(xiàn)了大型沙井蓋爆炸的106種預(yù)警情況。在布朗克斯（Bronx）的電網(wǎng)測試中，他們對2008年中期之前的數(shù)據(jù)都進行了分析，并利用這些數(shù)據(jù)預(yù)測了2009年會出現(xiàn)問題的沙井蓋。預(yù)測效果非常好，在他們列出的前10%的高危沙井蓋名單里，有44%的沙井蓋都發(fā)生了嚴重的事故。最重要的因素是這些電纜的使用年限和有沒有出現(xiàn)過問題。,大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?大量的數(shù)據(jù)從某種程度上意味著“理論的終結(jié)”?！?2008年，《連線

12、》主編克里斯·安德森大數(shù)據(jù)是在理論的基礎(chǔ)上形成的。理論貫穿于大數(shù)據(jù)的整個過程。數(shù)據(jù)的收集、分析、結(jié)果解讀,大數(shù)據(jù)帶來的思維方式的變化,處理的對象往往是全部數(shù)據(jù)，而不是部分數(shù)據(jù)的采樣采樣的不合理會導(dǎo)致預(yù)測結(jié)果的偏差，在大數(shù)據(jù)時代，依靠強大的數(shù)據(jù)處理能力，應(yīng)該去處理全部的數(shù)據(jù)。不再執(zhí)迷于精確性精確的、規(guī)范化的、可以被傳統(tǒng)數(shù)據(jù)庫處理的數(shù)據(jù)只占全部數(shù)據(jù)的5%，必須接受不精確性才能處理另外95%的數(shù)據(jù)。錯誤的數(shù)據(jù)是客觀存在