大數(shù)據(jù)存儲(chǔ)技術(shù)研究

1、大數(shù)據(jù)存儲(chǔ)技術(shù)研究3013218099軟工二班張敬喆1.背景介紹大數(shù)據(jù)已成為當(dāng)前社會(huì)各界關(guān)注的焦點(diǎn)。從一般意義上講，大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)，用現(xiàn)有信息技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。近年來(lái)，大數(shù)據(jù)的飆升主要來(lái)自人們的日常生活，特別是互聯(lián)網(wǎng)公司的服務(wù)。據(jù)著名的國(guó)際數(shù)據(jù)公司(IDC)的統(tǒng)計(jì)，2011年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB(1ZB=1021B)，其中75%來(lái)自于個(gè)人（主要是圖片、視頻和

2、音樂(lè)），遠(yuǎn)遠(yuǎn)超過(guò)人類(lèi)有史以來(lái)所有印刷材料的數(shù)據(jù)總量(200PB，1PB=1015B)。然而，與大數(shù)據(jù)計(jì)算相關(guān)的基礎(chǔ)研究，諸如大數(shù)據(jù)的感知與表示、組織與存儲(chǔ)、計(jì)算架構(gòu)與體系、模式發(fā)現(xiàn)與效應(yīng)分析等，目前還沒(méi)有成體系的理論成果。對(duì)于大數(shù)據(jù)計(jì)算體系的研究，一方面，需要關(guān)注大數(shù)據(jù)如何存儲(chǔ)，提供一種高效的數(shù)據(jù)存儲(chǔ)平臺(tái)；另一方面，為了應(yīng)對(duì)快速并高效可靠地處理大數(shù)據(jù)的挑戰(zhàn)，需要建立大數(shù)據(jù)的計(jì)算模式以及相關(guān)的優(yōu)化機(jī)制。2.相關(guān)工作為了應(yīng)對(duì)數(shù)據(jù)處理的壓力，

3、過(guò)去十年間在數(shù)據(jù)處理技術(shù)領(lǐng)域有了很多的創(chuàng)新和發(fā)展。除了面向高并發(fā)、短事務(wù)的OLTP內(nèi)存數(shù)據(jù)庫(kù)外（Altibase，Timesten），其他的技術(shù)創(chuàng)新和產(chǎn)品都是面向數(shù)據(jù)分析的，而且是大規(guī)模數(shù)據(jù)分析的，也可以說(shuō)是大數(shù)據(jù)分析的。在這些面向數(shù)據(jù)分析的創(chuàng)新和產(chǎn)品中，除了基于Hadoop環(huán)境下的各種NoSQL外，還有一類(lèi)是基于SharedNothing架構(gòu)的面向結(jié)構(gòu)化數(shù)據(jù)分析的新型數(shù)據(jù)庫(kù)產(chǎn)品（可以叫做NewSQL），如：Greenplum（EMC收

4、購(gòu)），Vertica（HP收購(gòu)），Asterdata（TD低成本的關(guān)鍵。然而，由于這項(xiàng)技術(shù)是計(jì)算密集型和讀寫(xiě)(IO)密集型的技術(shù)，特別是重復(fù)刪除運(yùn)算相當(dāng)消耗運(yùn)算資源，要進(jìn)行大量的讀寫(xiě)處理，因此現(xiàn)有系統(tǒng)在存取性能方面還存在很多問(wèn)題需要解決。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，將集群重復(fù)數(shù)據(jù)刪除技術(shù)有效地融入分布式集群存儲(chǔ)架構(gòu)中，可使存儲(chǔ)系統(tǒng)在數(shù)據(jù)存儲(chǔ)過(guò)程中對(duì)重復(fù)冗余數(shù)據(jù)進(jìn)行在線去重，并在存儲(chǔ)性能、存儲(chǔ)效率以及去重率等方面得到優(yōu)化。2.具有重復(fù)數(shù)據(jù)刪除功能

5、的分布式存儲(chǔ)架構(gòu)通過(guò)設(shè)計(jì)并實(shí)現(xiàn)具有重復(fù)數(shù)據(jù)刪除功能的分布式文件系統(tǒng)，可使其具備高去重率、高可擴(kuò)展性、高吞吐率等特征。分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)的架構(gòu)包括客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器三部分（見(jiàn)圖1）?？蛻舳酥饕峁┘褐貜?fù)數(shù)據(jù)刪除系統(tǒng)對(duì)外的交互接口，并在所提供的文件操作接口中實(shí)現(xiàn)基于重復(fù)數(shù)據(jù)刪除的存儲(chǔ)邏輯和對(duì)數(shù)據(jù)的預(yù)處理，如數(shù)據(jù)塊的劃分與“指紋”的提取。元數(shù)據(jù)服務(wù)器實(shí)現(xiàn)了對(duì)元數(shù)據(jù)存儲(chǔ)、集群的管理與維護(hù)，包括管理在數(shù)據(jù)存儲(chǔ)過(guò)程中整個(gè)會(huì)話，保

6、存與管理分布式文件系統(tǒng)中的元數(shù)據(jù)，管理和維護(hù)系統(tǒng)存儲(chǔ)狀況，指導(dǎo)數(shù)據(jù)路由并滿足系統(tǒng)存儲(chǔ)的負(fù)載均衡。數(shù)據(jù)服務(wù)器主要負(fù)責(zé)數(shù)據(jù)去重引擎以及數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)服務(wù)器通過(guò)網(wǎng)絡(luò)與客戶端進(jìn)行通信，響應(yīng)客戶端的讀寫(xiě)請(qǐng)求，通過(guò)網(wǎng)絡(luò)與元數(shù)據(jù)服務(wù)器異步更新數(shù)據(jù)服務(wù)器的數(shù)據(jù)接收狀況以及節(jié)點(diǎn)存儲(chǔ)狀況。當(dāng)接收到客戶端的寫(xiě)請(qǐng)求時(shí)，數(shù)據(jù)服務(wù)器接收數(shù)據(jù)并在節(jié)點(diǎn)內(nèi)進(jìn)行冗余數(shù)據(jù)的去重。網(wǎng)絡(luò)通信模塊可提供一種能夠在客戶端與分布式文件系統(tǒng)各節(jié)點(diǎn)間進(jìn)行通信的有效機(jī)制，通過(guò)遠(yuǎn)程過(guò)