美國(guó)大數(shù)據(jù)研究與發(fā)展計(jì)劃

1、美國(guó)大數(shù)據(jù)研究與發(fā)展計(jì)劃,背景,美國(guó)大數(shù)據(jù)研究與發(fā)展計(jì)劃,20 世紀(jì)90年代初，美國(guó)數(shù)據(jù)倉(cāng)庫(kù)之父比爾? 恩就多次在演講中提到“BIG DATA”，但受限于當(dāng)時(shí)的信息技術(shù)水平，大數(shù)據(jù)的理念未能真正建立起來(lái)。,大數(shù)據(jù)計(jì)劃的發(fā)展歷史,2005 年，美國(guó)IBM 公司出版了《無(wú)所不包的數(shù)據(jù)》一書(shū)，闡述了大規(guī)模收集數(shù)據(jù)如何改變企業(yè)公司的業(yè)務(wù)和人們的生活，這其中的“無(wú)所不包的數(shù)據(jù)就是指“大數(shù)據(jù)”。,大數(shù)據(jù)計(jì)劃的發(fā)展歷史,2010 年1 月，美國(guó)政府提

2、出了一系列主題為“我的大數(shù)據(jù)”的倡議與措施，以便美國(guó)公民可以更安全地獲取他們的個(gè)人數(shù)據(jù)，用來(lái)更好地處理私人領(lǐng)域的業(yè)務(wù)申請(qǐng)活動(dòng)和服務(wù)；2010 年3 月，美國(guó)政府要求各部門(mén)實(shí)施自己的“大數(shù)據(jù)”戰(zhàn)略，實(shí)現(xiàn)從數(shù)據(jù)到知識(shí)、知識(shí)到?jīng)Q策、決策到行動(dòng)的快速轉(zhuǎn)化。,大數(shù)據(jù)計(jì)劃的發(fā)展歷史,2011 年1 月，美國(guó)總統(tǒng)科技顧問(wèn)委員會(huì)指出，大數(shù)據(jù)技術(shù)蘊(yùn)含著重要的戰(zhàn)略價(jià)值，聯(lián)邦政府應(yīng)當(dāng)加大投資研發(fā)力度，并建議在美國(guó)國(guó)家科學(xué)技術(shù)委員會(huì)成立“大數(shù)據(jù)高級(jí)指導(dǎo)小組

3、”；2011 年6 月，美國(guó)麥肯錫全球研究院發(fā)布了題為《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的研究報(bào)告，“大數(shù)據(jù)(BIG DATA)”一詞才真正“熱”起來(lái)。,大數(shù)據(jù)計(jì)劃的發(fā)展歷史,2012年3月29日，奧巴馬政府公布了“大數(shù)據(jù)研發(fā)計(jì)劃” （ Big Data Research and Development Initiative ）該計(jì)劃旨在改進(jìn)現(xiàn)有人們從海量和復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，從而加速美國(guó)在科學(xué)與工程領(lǐng)域發(fā)明的

4、步伐，增強(qiáng)國(guó)家安全，轉(zhuǎn)變現(xiàn)有的教學(xué)和學(xué)習(xí)方式。,明確提出,1、首批共有6個(gè)聯(lián)邦部門(mén)宣布投資2億美元，共同提高收集、儲(chǔ)存、保留、管理、分析和共享海量數(shù)據(jù)所需核心技術(shù)的先進(jìn)性，并形成合力；    2、現(xiàn)聯(lián)邦政府對(duì)大數(shù)據(jù)研發(fā)的投入旨在提高美國(guó)的科學(xué)發(fā)現(xiàn)、環(huán)境與生物醫(yī)藥研究、教育和國(guó)家安全的能力；3、此計(jì)劃是對(duì)總統(tǒng)科技顧問(wèn)委員會(huì)（PCAST）2011年提出的增加美國(guó)在大數(shù)據(jù)研發(fā)方面投入的建議的回應(yīng)；4、

5、OSTP專(zhuān)門(mén)成立了大數(shù)據(jù)高層指導(dǎo)小組。,投資與支持,1.增強(qiáng)科研能力，推進(jìn)科研方式轉(zhuǎn)變2.提高政府管理水平和決策能力3.抓住技術(shù)機(jī)遇，推進(jìn)經(jīng)濟(jì)發(fā)展,目的,內(nèi)容,美國(guó)大數(shù)據(jù)研究與發(fā)展計(jì)劃,大數(shù)據(jù)是一種大規(guī)模數(shù)據(jù)的管理和利用的商業(yè)模式和技術(shù)平臺(tái)的泛指。,大數(shù)據(jù)的定義,數(shù)據(jù)體量巨大，從 10 12 比特級(jí)別一直躍升到 10 15 比特級(jí)別數(shù)據(jù)具有多樣性，包括了網(wǎng)絡(luò)日志、視頻、圖片、地理位置等非結(jié)構(gòu)化的數(shù)據(jù)數(shù)據(jù)價(jià)值密度小，挖掘

6、大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金數(shù)據(jù)處理速度快，需要具備實(shí)時(shí)處理能力,大數(shù)據(jù)的特點(diǎn),數(shù)據(jù)規(guī)模呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)的特征包括了所有數(shù)據(jù)類(lèi)型的采集、分類(lèi)、處理、分析和展現(xiàn)等多方面最終實(shí)現(xiàn)從大數(shù)據(jù)挖掘潛在巨大價(jià)值的目的,大數(shù)據(jù)與傳統(tǒng)海量數(shù)據(jù)的區(qū)別,針對(duì)大數(shù)據(jù)給美國(guó)信息安全帶來(lái)的挑戰(zhàn)，美國(guó)政府采取了把大數(shù)據(jù)研發(fā)上升為國(guó)家戰(zhàn)略、成立大數(shù)據(jù)研發(fā)管理機(jī)構(gòu)、研發(fā)大數(shù)據(jù)信息安全技術(shù)、大力推進(jìn)大數(shù)據(jù)中心建設(shè)、培養(yǎng)大數(shù)據(jù)信息安全人才、開(kāi)展大數(shù)據(jù)研發(fā)多方合作等

7、一系列舉措，來(lái)加強(qiáng)國(guó)家的網(wǎng)絡(luò)和信息安全建設(shè)。,利用大數(shù)據(jù)的主要做法,奧巴馬總統(tǒng)上任伊始，號(hào)召公眾與私營(yíng)部門(mén)利用數(shù)據(jù)的力量，提高生產(chǎn)力，改善生活質(zhì)量，服務(wù)大眾社會(huì)。,利用大數(shù)據(jù)的主要做法,2009 年，奧巴馬政府將大量數(shù)據(jù)庫(kù)向民眾開(kāi)放，并且將許多數(shù)據(jù)公布在美國(guó)政府的中央信息交換庫(kù)——Data.gov 網(wǎng)站上。,利用大數(shù)據(jù)的主要做法,2010 年，美國(guó)國(guó)會(huì)通過(guò)更新法案，進(jìn)一步提高了數(shù)據(jù)采集精度和上報(bào)頻度。截至目前，網(wǎng)站上有超過(guò)40 萬(wàn)種各類(lèi)

8、原始數(shù)據(jù)文件，涵蓋了農(nóng)業(yè)、氣象、金融、就業(yè)、人口等近五十個(gè)門(mén)類(lèi)，匯集了數(shù)千個(gè)應(yīng)用程序和軟件工具。,利用大數(shù)據(jù)的主要做法,以美國(guó)各級(jí)政府為主導(dǎo)依托高校和科研機(jī)構(gòu)，鼓勵(lì)廣泛參與，并以多種形式充分合作。包括聯(lián)邦政府機(jī)構(gòu)和各州政府，也包括高校、非政府組織和企業(yè)等組織形式上主要以具體項(xiàng)目為紐帶，研究目標(biāo)明確，任務(wù)具體。,計(jì)劃實(shí)施和各機(jī)構(gòu)任務(wù)分配,應(yīng)用,美國(guó)大數(shù)據(jù)研究與發(fā)展計(jì)劃,美國(guó)政府在基于大數(shù)據(jù)的信息網(wǎng)絡(luò)安全戰(zhàn)略方面，充分體現(xiàn)出了其一貫

9、特點(diǎn)：善于利用其綜合優(yōu)勢(shì)，在保持其領(lǐng)先的長(zhǎng)期定位下，不斷推出變革性、引領(lǐng)性的信息網(wǎng)絡(luò)安全國(guó)家戰(zhàn)略，并通過(guò)有力的協(xié)調(diào)組織、迅速落實(shí)?？梢孕蜗蟮卣f(shuō)是“常憂患、起得早、協(xié)調(diào)好、干的快、不動(dòng)搖”。,美國(guó)大數(shù)據(jù)應(yīng)用,一些相關(guān)的公司已經(jīng)贊助大數(shù)據(jù)相關(guān)的比賽，并給大學(xué)提供這方面的研究資助。大學(xué)里也開(kāi)始開(kāi)設(shè)一門(mén)全新的研究型課程，培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”。一些無(wú)國(guó)界的組織幫助非營(yíng)利性機(jī)構(gòu)對(duì)公益性服務(wù)的數(shù)據(jù)進(jìn)行采取、分析和可視化處理。白宮科技政

10、策辦公室將會(huì)非常有興趣支持建立一個(gè)跟大數(shù)據(jù)相關(guān)論壇，包括最新的公私組織之間的合作。,美國(guó)大數(shù)據(jù)應(yīng)用,六個(gè)聯(lián)邦政府的部門(mén)和機(jī)構(gòu)宣布新的2億美元的投資，用于大數(shù)據(jù)的應(yīng)用。項(xiàng)目涉及計(jì)算機(jī)、國(guó)防、生物、醫(yī)學(xué)、物理、地球、應(yīng)急、航天、社會(huì)等方方面面。六個(gè)聯(lián)邦部門(mén)為：國(guó)防部 (DOD)，國(guó)土安全部(DHS)，能源部 (DOE)，退伍軍人管理部(VA) ，衛(wèi)生和人類(lèi)服務(wù)部(HHS)，美國(guó)國(guó)家安全局(NSA) 。,美國(guó)大數(shù)據(jù)應(yīng)用

11、,國(guó)防部 (DOD)多尺度異常檢測(cè)（ADAMS）項(xiàng)目Insight計(jì)劃Machine Reading 項(xiàng)目Mind's Eye 項(xiàng)目Mission-oriented Resilient Clouds 項(xiàng)目對(duì)加密數(shù)據(jù)的編程計(jì)算(PROCEED)的研究工作在視頻和圖像的檢索和分析工具(VIRAT)計(jì)劃,美國(guó)大數(shù)據(jù)應(yīng)用,國(guó)土安全部(DHS)卓越研究中

12、心和可視化數(shù)據(jù)分析（CVADA）退伍軍人管理部(VA)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（CDW）基因組信息系統(tǒng)綜合科學(xué)(GenISIS)計(jì)劃美國(guó)國(guó)家安全局(NSA) 情報(bào)共同體（IC）項(xiàng)目,美國(guó)大數(shù)據(jù)應(yīng)用,能源部 (DOE)高性能存儲(chǔ)系統(tǒng)(HPSS)對(duì)千萬(wàn)億次的數(shù)據(jù)的分析處理GridFTP的服務(wù)器開(kāi)放科學(xué)網(wǎng)格生物和環(huán)境研究計(jì)劃（BER）系統(tǒng)生物學(xué)知識(shí)庫(kù)（Kbase）美國(guó)核數(shù)據(jù)計(jì)劃(USNDP),美國(guó)大數(shù)據(jù)應(yīng)用,衛(wèi)生和人類(lèi)服務(wù)