實(shí)驗(yàn)3熟悉常用的hdfs操作答案

1、實(shí)驗(yàn)2熟悉常用的HDFS操作實(shí)驗(yàn)手冊(cè)主講教師：劉斌第1頁(yè)實(shí)驗(yàn)2熟悉常用的HDFS操作1實(shí)驗(yàn)?zāi)康膶?shí)驗(yàn)?zāi)康?.理解HDFS在Hadoop體系結(jié)構(gòu)中的角色；2.熟練使用HDFS操作常用的Shell命令；3.熟悉HDFS操作常用的JavaAPI。2實(shí)驗(yàn)平臺(tái)實(shí)驗(yàn)平臺(tái)操作系統(tǒng)：LinuxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本JavaIDE：Eclipse3實(shí)驗(yàn)內(nèi)容和要求實(shí)驗(yàn)內(nèi)容和要求1.編程實(shí)現(xiàn)以下指定功能，并利用Had

2、oop提供的Shell命令完成相同任務(wù)：提示：1)部分Shell命令的參數(shù)路徑只能是本地路徑或者HDFS路徑。2)若Shell命令的參數(shù)既可以是本地路徑，也可以是HDFS路徑時(shí)，務(wù)必注意區(qū)分。為保證操作正確，可指定路徑前綴hdfs:或者file:3)注意區(qū)分相對(duì)路徑與絕對(duì)路徑4)具體命令的說(shuō)明可參考教材或:hadoop.apache.gdocsstablehadoopprojectdisthadoopcommonFileSystemSh

3、ell.html（1）向HDFS中上傳任意文本文件，如果指定的文件在HDFS中已經(jīng)存在，由用戶(hù)指定是追加到原有文件末尾還是覆蓋原有的文件；Shell命令:檢查文件是否存在:.hdfsdfstestetext.txt(執(zhí)行完這一句不會(huì)輸出結(jié)果，需要繼續(xù)輸入命令“echo$“)追加命令:.hdfsdfsappendToFilelocal.txttext.txt覆蓋命令1:.hdfsdfscopyFromLocalflocal.txttext

4、.txt覆蓋命令2:.hdfsdfscpffile:homehadooplocal.txttext.txt也可以使用如下命令實(shí)現(xiàn)：（如下代碼可視為一行代碼，在終端中輸入第一行代碼后，直到輸入fi才會(huì)真正執(zhí)行）：if$(.hdfsdfstestetext.txt)then$(.hdfsdfsappendToFilelocal.txttext.txt)else$(.hdfsdfscopyFromLocalflocal.txttext.txt

5、)fiJava代碼：實(shí)驗(yàn)2熟悉常用的HDFS操作實(shí)驗(yàn)手冊(cè)主講教師：劉斌第3頁(yè)out.write(data0read)out.close()in.close()fs.close()主函數(shù)publicstaticvoidmain(String[]args)Configurationconf=newConfiguration()conf.set(“fs.default.name““hdfs:localhost:9000“)Stringloca

6、lFilePath=“homehadooptext.txt“本地路徑StringremoteFilePath=“userhadooptext.txt“HDFS路徑Stringchoice=“append“若文件存在則追加到文件末尾Stringchoice=“overwrite“若文件存在則覆蓋try判斷文件是否存在BooleanfileExists=falseif(HDFSApi.test(confremoteFilePath))fil

7、eExists=trueSystem.out.println(remoteFilePath“已存在.“)elseSystem.out.println(remoteFilePath“不存在.“)進(jìn)行處理if(!fileExists)文件不存在，則上傳HDFSApi.copyFromLocalFile(conflocalFilePathremoteFilePath)System.out.println(localFilePath“已上傳至“

8、remoteFilePath)elseif(choice.equals(“overwrite“))選擇覆蓋HDFSApi.copyFromLocalFile(conflocalFilePathremoteFilePath)System.out.println(localFilePath“已覆蓋“remoteFilePath)elseif(choice.equals(“append“))選擇追加HDFSApi.appendToFile(c