hadoop大數(shù)據(jù)技術簡介

1、Hadoop 大數(shù)據(jù)技術簡介 大數(shù)據(jù)技術簡介Hadoop 技術簡介~ 1 ~1 傳統(tǒng)數(shù)據(jù)庫瓶頸 傳統(tǒng)數(shù)據(jù)庫瓶頸傳統(tǒng)數(shù)據(jù)庫具有不錯的性能，高穩(wěn)定性，使用簡單，功能強大，在過去的40 年中很好的滿足了用戶對數(shù)據(jù)存儲的需求，積累了大量的成功案例。但是隨著數(shù)據(jù)量的增長，傳統(tǒng)數(shù)據(jù)庫在應付很多問題時已經(jīng)開始力不從心，暴露了很多難以克服的問題，例如：1）High Performance –數(shù)據(jù)高并發(fā)讀寫例如，web2.0 網(wǎng)站要根據(jù)用戶個性化信息來實

2、時生成動態(tài)頁面和提供動態(tài)信息，所以基本上無法使用動態(tài)頁面靜態(tài)化技術，因此數(shù)據(jù)庫并發(fā)負載非常高，往往要達到每秒上萬次讀寫請求。關系數(shù)據(jù)庫應付上萬次 SQL 查詢還勉強頂?shù)米?，但是應付上萬次 SQL 寫數(shù)據(jù)請求，硬盤 IO 就已經(jīng)無法承受了。2）Huge storage –海量數(shù)據(jù)的高效率存儲和訪問對于大型的 SNS 網(wǎng)站，每天用戶產(chǎn)生海量的用戶動態(tài)，某些大型 web 網(wǎng)站的用戶登錄系統(tǒng)的記錄往往能夠達到上億條，對于關系數(shù)據(jù)庫來說，在上億條

3、記錄的表里面進行 SQL 查詢，效率是極其低下乃至不可忍受的。3）High Scalabilty&& High Availabilty 數(shù)據(jù)庫高可擴展性和高可用性在基于 web 的架構當中，數(shù)據(jù)庫是最難進行橫向擴展的，當一個應用系統(tǒng)的用戶量和訪問量與日俱增的時候，數(shù)據(jù)庫卻沒有辦法像 web server 和 app server 那樣簡單的通過添加更多的硬件和服務節(jié)點來擴展性能和負載能力。對于很多需要提供 24 小時不