fourinone和hadoop的綜合對(duì)比

1、fourinone1.11.09hadoop0.21.0體積82K71M依賴關(guān)系就一個(gè)jar沒(méi)有依賴約12項(xiàng)jar包依賴配置就一個(gè)配置文件較多配置文件和復(fù)雜屬性集群搭建簡(jiǎn)單，每臺(tái)機(jī)器放一個(gè)jar和配置文件復(fù)雜，需要linux操作基礎(chǔ)和ssh等復(fù)雜配置，還需要較多配置文件配置計(jì)算模式提供兩種計(jì)算模式：包工頭和工人直接交互方式，包工頭和工人通過(guò)消息中樞方式交互，后者不需要工人節(jié)點(diǎn)可直接訪問(wèn)計(jì)算更多傾向于文件數(shù)據(jù)的并行讀取，而非計(jì)算過(guò)程的設(shè)計(jì)

2、。JobTracke跟TaskTracker直接交互，查詢NameNode后，TaskTracker直接從Datanode獲取數(shù)據(jù)。并行模式NN，支持單機(jī)并行，也支持多機(jī)并行，多機(jī)多實(shí)例并行1N，不支持單機(jī)并行，只支持多機(jī)單實(shí)例并行內(nèi)存方式支持內(nèi)存方式設(shè)計(jì)和開發(fā)應(yīng)用，并內(nèi)置完整的分布式緩存功能以hdfs文件方式進(jìn)行數(shù)據(jù)處理，內(nèi)存方式計(jì)算支持很弱文件方式自帶文件適配器處理ioHdfs處理文件io計(jì)算數(shù)據(jù)要求任意數(shù)據(jù)格式和任意數(shù)據(jù)來(lái)源，包括

3、來(lái)自數(shù)據(jù)庫(kù)，分布式文件，分布式緩存等Hdfs內(nèi)的文件數(shù)據(jù)，多傾向于帶換行符的數(shù)據(jù)調(diào)度角色包工頭，可以有多個(gè)，支持鏈?zhǔn)教幚?，也支持大包工頭對(duì)小包工頭的調(diào)度JobTracke，通常與NameNode一起任務(wù)執(zhí)行角色農(nóng)民工，框架支持設(shè)計(jì)多種類型的工人用于拆分或者合并任務(wù)TaskTracker，通常與Datanode一起中間結(jié)果數(shù)據(jù)保存手工倉(cāng)庫(kù)，或者其他任意數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)備Hdfs中間結(jié)果文件拆分策略自由設(shè)計(jì)，框架提供鏈?zhǔn)教幚韺?duì)于大的業(yè)務(wù)場(chǎng)景進(jìn)行

4、環(huán)節(jié)拆分?jǐn)?shù)據(jù)的存儲(chǔ)和計(jì)算拆分根據(jù)業(yè)務(wù)場(chǎng)景自定義以64m為拆分進(jìn)行存儲(chǔ)，以行為拆分進(jìn)行計(jì)算實(shí)現(xiàn)map接口，按行處理數(shù)據(jù)進(jìn)行計(jì)算合并策略自由設(shè)計(jì)，框架提供農(nóng)民工節(jié)點(diǎn)之間的合并接口，可以互相交互設(shè)計(jì)合并策略，也可以通過(guò)包工頭進(jìn)行合并TaskTracker不透明，較少提供程序控制，合并策略設(shè)計(jì)復(fù)雜實(shí)現(xiàn)reduce接口進(jìn)行中間數(shù)據(jù)合并邏輯實(shí)現(xiàn)內(nèi)存耗用無(wú)需要制定JVM內(nèi)存，按默認(rèn)即可，根據(jù)計(jì)算要求考慮是否增加JVM內(nèi)存需要制定JVM內(nèi)存，每個(gè)進(jìn)程默

5、認(rèn)1G，常常namenode，jobtracker等啟動(dòng)3個(gè)進(jìn)程，耗用3G內(nèi)存監(jiān)控框架提供多環(huán)節(jié)鏈?zhǔn)教幚碓O(shè)計(jì)支持監(jiān)控過(guò)程，通過(guò)可編程的監(jiān)控輸出較多的系統(tǒng)監(jiān)控log，如map和reduce百分比等，但是Fourinone和hadoop運(yùn)行wdcount的對(duì)比測(cè)試（平均4核4g配置，輸入數(shù)據(jù)為文件）：fourinone1.11.09(n4)fourinone1.11.09(n1)hadoop0.21.0(n1)3臺(tái)機(jī)器256M4s12s72

6、s3臺(tái)機(jī)器512M7s30s140s3臺(tái)機(jī)器1G14s50s279s19臺(tái)機(jī)器1G21s60s289s10臺(tái)機(jī)器2G29s5臺(tái)機(jī)器4G60sN4說(shuō)明：Fourinone可以充分利用單機(jī)并行能力，4核計(jì)算機(jī)可以4個(gè)并行實(shí)例計(jì)算，hadoop目前只能N1；另外，可以由上圖看出，如果要完成20g的數(shù)據(jù)，實(shí)際上fourinone只需要使用5臺(tái)機(jī)器用60秒完成，比使用19臺(tái)機(jī)器完成19g的hadoop節(jié)省了14臺(tái)機(jī)器，并提前了200多秒方式，給于

7、業(yè)務(wù)開發(fā)方最大靈活的監(jiān)控需求實(shí)現(xiàn)，為追求高性能不輸出大量系統(tǒng)監(jiān)控log會(huì)犧牲性能，業(yè)務(wù)監(jiān)控需要自己實(shí)現(xiàn)打包部署腳本工具上傳jar包到j(luò)obtracker機(jī)器平臺(tái)支撐支持跨平臺(tái)，windows支持良好多傾向于支持linux，Windows支持不佳，需要模擬linux環(huán)境，并且建議只用于開發(fā)學(xué)習(xí)其他協(xié)同一致性、分布式緩存、通訊隊(duì)列等跟分布式計(jì)算關(guān)系密切的功能支持不支持總結(jié)：Hadoop并不是為了追求一個(gè)并行計(jì)算的框架而設(shè)計(jì)，提供快捷和靈活的