臧振立-論文綜述

1、文獻(xiàn)綜述大數(shù)據(jù)與企業(yè)的關(guān)系一、研究背景與動態(tài)1大數(shù)據(jù)概念研究機(jī)構(gòu)Gartner的定義：大數(shù)據(jù)是指需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。維基百科的定義：大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策目的的資訊。麥肯錫的定義：大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行采集、存儲、管理和分析的數(shù)據(jù)

2、集合。無論哪種定義，我們可以看出，大數(shù)據(jù)并不是一種新的產(chǎn)品也不是一種新的技術(shù)，就如同本世紀(jì)初提出的“海量數(shù)據(jù)”概念一樣，大數(shù)據(jù)只是數(shù)字化時(shí)代出現(xiàn)的一種現(xiàn)象。那么海量數(shù)據(jù)與大數(shù)據(jù)的差別何在從翻譯的角度看，“大數(shù)據(jù)”和“海量數(shù)據(jù)”均來自英文，“bigdata”翻譯為“大數(shù)據(jù)”，而“l(fā)argescaledata”或者“vastdata”則翻譯為“海量數(shù)據(jù)”。從組成的角度看，海量數(shù)據(jù)包括結(jié)構(gòu)化和半結(jié)構(gòu)化的交易數(shù)據(jù)，而大數(shù)據(jù)除此以外還包括非結(jié)構(gòu)化

3、數(shù)據(jù)和交互數(shù)據(jù)。Infmatica大中國區(qū)首席產(chǎn)品顧問但彬進(jìn)一步指出，大數(shù)據(jù)意味著包括交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集，其規(guī)?；驈?fù)雜程度超出了常用技術(shù)，按照合理的成本和時(shí)限捕捉、管理及處理這些數(shù)據(jù)集的能力?？梢?，大數(shù)據(jù)由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量數(shù)據(jù)處理三大主要的技術(shù)趨勢匯聚而成。上個(gè)世紀(jì)60年代，數(shù)據(jù)一般存儲在文件中，由應(yīng)用程序直接管理；70年代構(gòu)建了關(guān)系數(shù)據(jù)模型，數(shù)據(jù)庫技術(shù)為數(shù)據(jù)存儲提供了新的手段；80年代中期，數(shù)據(jù)倉庫由于具

4、有面向主題、集成性、時(shí)變性和非易失性特點(diǎn)，成為數(shù)據(jù)分析和聯(lián)機(jī)分析的重要平臺；隨著網(wǎng)絡(luò)的普及和web2.0網(wǎng)站的興起，基于Web的數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫等技術(shù)應(yīng)運(yùn)而生，能手機(jī)和社交網(wǎng)絡(luò)的廣泛使用，使得各種類型的數(shù)據(jù)呈指數(shù)增長，漸漸超出了傳統(tǒng)關(guān)系型數(shù)據(jù)上，首次提出了“數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD）”的概念。1995年召開了第一屆知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際學(xué)術(shù)會議，隨著與會人員的增多，KDD國際會議發(fā)展為年會。1998年在美國紐約舉行了第四屆知識發(fā)

5、現(xiàn)與數(shù)據(jù)挖掘國際學(xué)術(shù)會議，不僅進(jìn)行了學(xué)術(shù)討論，而且30多家軟件公司展示了自己的產(chǎn)品，比如，IBM公司研制的IntelligentMiner，用來提供數(shù)據(jù)挖掘的解決方案；SPSS股份公司開發(fā)了基于決策樹的數(shù)據(jù)挖掘軟件Clementine；acle公司開發(fā)的Darwin數(shù)據(jù)挖掘套件，另外還有SAS公司的Enterprise和SGI公司的MineSet等。經(jīng)濟(jì)利益成為主要的推動力，IBM、ACLE、微軟、谷歌、亞馬遜、Facebook、Ter

6、adata、EMC、惠普等跨國巨頭也因大數(shù)據(jù)技術(shù)的發(fā)展而更加具有競爭力。僅2009年一年，谷歌公司通過大數(shù)據(jù)業(yè)務(wù)對美國經(jīng)濟(jì)貢獻(xiàn)540億美元；2005年以來，IBM投資160億美元進(jìn)行30多次與大數(shù)據(jù)相關(guān)的收購，使業(yè)績穩(wěn)定高速增長，2012年，IBM股價(jià)每股突破200美元大關(guān)，3年內(nèi)翻了3番；eBay通過數(shù)據(jù)挖掘精確計(jì)算出廣告中每個(gè)關(guān)鍵字帶來的回報(bào)，2007年以來，廣告費(fèi)降低了99%，同時(shí)頂級賣家占總銷售額的百分比上升至32%；2011年

7、，F(xiàn)acebook首次公開新數(shù)據(jù)處理分析平臺PUMA，通過對數(shù)據(jù)多處理環(huán)節(jié)區(qū)分優(yōu)化，相比之前單純采用Hadoop和Hive進(jìn)行處理的技術(shù)，數(shù)據(jù)分析周期從2天降到10秒以內(nèi)，效率提高數(shù)萬倍。2012年3月，奧巴馬政府公布“大數(shù)據(jù)研發(fā)計(jì)劃”，旨在提高和改進(jìn)人們從海量、復(fù)雜的數(shù)據(jù)中獲取知識的能力，發(fā)展收集、儲存、保留、管理、分析和共享海量數(shù)據(jù)所需要的核心技術(shù)，大數(shù)據(jù)成為繼集成電路和互聯(lián)網(wǎng)之后信息科技關(guān)注的重點(diǎn)。與國外相比，國內(nèi)起步稍晚，還未形

8、成整體力量，企業(yè)使用數(shù)據(jù)挖掘技術(shù)尚不普遍但近幾年出現(xiàn)了蓬勃發(fā)展的態(tài)勢。我國國家自然科學(xué)基金于1993年首次支持對數(shù)據(jù)挖掘領(lǐng)域的研究項(xiàng)目。1999年，在北京召開第三屆亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議(PAKDD)，收到論文158篇。2011年，第十五屆PAKDD在深圳舉辦，會議就數(shù)據(jù)挖掘、知識發(fā)現(xiàn)、人工智能、機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域的主題進(jìn)行交流討論，反響熱烈。2012年6月9日，中國計(jì)算機(jī)學(xué)會常務(wù)理事會決定成立大數(shù)據(jù)專家委員會。2012年1