基于Hadoop的企業(yè)海量數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著數(shù)據(jù)存儲(chǔ)與分布式計(jì)算技術(shù)的發(fā)展，國(guó)內(nèi)外掀起了研究海量數(shù)據(jù)存儲(chǔ)與計(jì)算的新高潮，以Google、Amazon、IBM為代表的信息技術(shù)公司陸續(xù)推出了自己的海量數(shù)據(jù)存儲(chǔ)與計(jì)算的構(gòu)架，其中最引人注目的新理念就是“云計(jì)算”解決方案。
　　作者所在的企業(yè)為互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)公司，每天產(chǎn)生的數(shù)據(jù)是TB級(jí)別，數(shù)據(jù)的存儲(chǔ)與管理成了公司面臨一大難題。結(jié)合海量數(shù)據(jù)存儲(chǔ)與計(jì)算的相關(guān)技術(shù)，吸納業(yè)界領(lǐng)先公司的工作成果，設(shè)計(jì)一套符合公司業(yè)務(wù)要求、支持海量

2、數(shù)據(jù)應(yīng)用服務(wù)的數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)，尋求適合企業(yè)海量數(shù)據(jù)的存儲(chǔ)和計(jì)算的“云計(jì)算”解決方案是本文的目標(biāo)。
　　本文主要的工作是海量數(shù)據(jù)與計(jì)算平臺(tái)設(shè)計(jì)、開發(fā)和測(cè)試。首先基于 Hadoop框架體系，設(shè)計(jì)了符合海量數(shù)據(jù)存儲(chǔ)的平臺(tái)架構(gòu)以及海量數(shù)據(jù)處理的算法與機(jī)制；其次，根據(jù)平臺(tái)的設(shè)計(jì)方案，給出了基于Hadoop的分布式存儲(chǔ)與計(jì)算平臺(tái)的實(shí)施方案，并針對(duì)支持海量大文件存儲(chǔ)的GHFS和支持海量小文件存儲(chǔ)的TGHFS給出了存取接口的實(shí)現(xiàn)，構(gòu)建了海量數(shù)