/home/hadoop/bin/hadoop在ami 4.x中缺失

Question

我正在嘗試將使用ami 3.x的遺留mapreduce管道遷移到ami 4.x.它目前有bash腳本作爲引導的一部分，其中一個叫hadoop fs-get s3n://somefile ~/otherfile。這在我目前向ami 4.x遷移的嘗試中失敗了。並且添加ls /home/hadoop/bin該腳本顯示目錄/home/hadoop/bin不存在，因此當然不存在二進制/home/hadoop/bin/hadoop。有什麼我需要配置，以確保hadoop二進制存在？我似乎無法在文檔中找到任何明顯的東西。

Answer 1

文件系統佈局在3.x和4.x之間有很大變化。 3.x和4.x和遷移指令之間的差異可以在這裏找到：http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.1.0/emr-release-differences.html

因爲雖然解決您的問題簡單的答案是，你應該使用「AWS S3 CP」，而不是「Hadoop的FS-得到」在引導操作中，因爲直到在4.x +上運行引導操作之後才安裝Hadoop。