hadoop 上編寫 mapreduce 程序

1、MapReduce是包含兩個過程：Map過程和Reduce過程。每一個過程都包含鍵值對作為輸入，程序員可以選擇鍵和值的類型。Map和Reduce的數(shù)據(jù)流是這樣的：Input==Map==MapperOutput==Stshuffle==Reduce==FinalOutput使用Java編寫HadoopMapReduce代碼MapReduce程序需要三個元素：Map，Reduce和運行任務(wù)的代碼（在這里，我們把它叫做Invoker）。1）

2、創(chuàng)建）創(chuàng)建Map（可以是任何名字）類和（可以是任何名字）類和map函數(shù)函數(shù)map函數(shù)是在g.apache.hadoop.mapreduce.Mapper.class類中，以抽象方法定義的。01imptg.apache.hadoop.io.IntWritable02imptg.apache.hadoop.io.LongWritable03imptg.apache.hadoop.io.Text04imptg.apache.hadoop.ma

3、preduce.Mapper0506imptjava.io.IOException0708publicclassMapextendsMapper09privatefinalstaticIntWritableone=newIntWritable(1)10privateTextwd=newText()11publicvoidmap(LongWritablekeyTextvalueContextcontext)throwsIOExceptio

4、nInterruptedException13sum=intWritable.get()1415context.write(keynewIntWritable(sum))1617解釋：Reducer類是一個泛型類，帶有4個參數(shù)（輸入的鍵，輸入的值，輸出的鍵，輸出的值）。在這里輸入的鍵和輸入的值必須跟Mapper的輸出的類型相匹配，輸出的鍵是Text（關(guān)鍵字），輸出的值是Intwritable（出現(xiàn)的次數(shù)）3）我們已經(jīng)準備號了）我們已經(jīng)準

5、備號了Map和Reduce的實現(xiàn)類的實現(xiàn)類現(xiàn)在我們需要invoker來配置Hadoop任務(wù)，調(diào)用MapReduce程序。01imptg.apache.hadoop.conf.Configuration02imptg.apache.hadoop.fs.Path03imptg.apache.hadoop.io.Text04imptg.apache.hadoop.mapreduce.Job05imptg.apache.hadoop.mapre

6、duce.lib.input.FileInputFmat06imptg.apache.hadoop.mapreduce.lib.output.FileOutputFmat0708publicclassWdCount09publicstaticvoidmain(String[]args)throwsException10Configurationconfiguration=newConfiguration()11configuration