如何在Amazon EMR中運行WordCount？

在Amazon EMR中指定輸入和輸出路徑的正確方法是什麼？如何在Amazon EMR中運行WordCount？

在我的羣集中，我點擊Add Step，然後選擇自定義Jar並輸入jar位置s3://wordcountbuckett/wc.jar。對於參數輸入框，我已將s3://wordcountbuckett/file01指定爲我的輸入文件，將s3://wordcountbuckett/output/指定爲我的輸出路徑。

file01是一個txt文件，而/ output /是一個文件夾。

下面是我從日誌

Exception in thread "main" java.lang.ClassNotFoundException: s3://wordcountbuckett/ 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:278) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 

My Add Step details: 
1. Step Type : Custom Jar 
2. Name : WordCount2 
3. JAR Location : s3://mywordcountbuckett/binary/wc.jar 
4. Arguments: s3://mywordcountbuckett/input/ 
s3://mywordcountbuckett/output/ 
5. Action on Failure : Continue

來源

2015-11-22 kylas

您能否提供自定義Jar步驟的屏幕截圖？ –

@JohnRotenstein我無法上傳屏幕截圖，但是步驟如上所述。 – kylas

你確定你已經指定了正確的路徑得到的錯誤？因爲在文中您談到s3://wordcountbuckett/wc.jar，但在您的添加步驟配置中指定s3://mywordcountbuckett/..。我建議檢查這是問題還是隻是一個錯字。

來源

2015-11-26 12:38:26 TheRealPetron

如何在Amazon EMR中運行WordCount？

回答

相關問題