如何運行HDFS內部的MapReduce JAR文件？

我試圖運行一個map-reduce代碼，它存在於Hadoop文件系統中。
傳統的運行方式：
hadoop jar [本地路徑] [main-class] [args] ...
[path-to-jar-file-in-本地] - 我的jar文件在HDFS中。如何運行HDFS內部的MapReduce JAR文件？

來源

2016-03-30 Arun Veeramani

將jar文件保存在HDFS中的具體原因是什麼？你可以嘗試copyToLocal這個jar文件，然後用傳統的方式運行。 – SurjanSRawat

邊緣節點訪問已被客戶端禁用，我們只能訪問Hadoop環境。沒有給出Unix系統權限。 –

請參閱similar question。所有hadoop命令都由bin/hadoop腳本調用。對於執行jar文件，它使用RunJar類，它具有以下代碼片段

int firstArg = 0; 
String fileName = args[firstArg++]; 
File file = new File(fileName);

其中fileName指向jarFile。

來源

2016-03-30 08:21:49 SurjanSRawat

那麼在我的情況下，無法執行HDFS中的Map Reduce？ –

如何運行HDFS內部的MapReduce JAR文件？

回答

相關問題