運行Hadoop MapReduce，是否可以調用HDFS之外的外部可執行文件

在我的映射器中，我想調用外部軟件安裝在HDFS之外的工作節點上。這可能嗎？做這個的最好方式是什麼？運行Hadoop MapReduce，是否可以調用HDFS之外的外部可執行文件

我知道這可能需要MapReduce的一些優點/可擴展性，但我想在HDFS內進行交互並在映射器中調用編譯/安裝的外部軟件代碼來處理一些數據。

來源

2011-09-03 Joris

映射器（和reducer）就像盒子上的任何其他進程 - 只要TaskTracker用戶有權運行可執行文件，這樣做沒有問題。有幾種方法可以調用外部進程，但由於我們已經在使用Java，所以ProcessBuilder似乎是一個合理的開始。

編輯：剛剛發現的Hadoop有一個明確的類用於此目的：http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/util/Shell.html

來源

2011-09-03 23:35:48

只需添加：外殼是可見的包，如果不在包中使用它們，就不能使用它們。 –

java中的Shell類會調用HDFS之外的節點上的進程嗎？ – Joris

@chris謝謝 - 這工作！你知道如何設置TaskTracker用戶權限嗎？ – Joris

這肯定是可行的。您可能會發現最好使用Hadoop Streaming。正如它在該網站上所說：

Hadoop流式傳輸是Hadoop發行版附帶的實用程序。該實用程序允許您使用任何可執行文件或腳本作爲映射器和/或縮減器來創建和運行map/reduce作業。

我傾向於從Hadoop Streaming內部的外部代碼開始。根據您的語言，可能有許多很好的示例說明如何在Streaming中使用它;一旦你進入你選擇的語言，如果需要，你通常可以將數據輸出到另一個程序。我已經用不同的語言編寫了好幾層程序，沒有額外的努力，如果我在普通的Linux機器上運行它，除了使外層使用Hadoop Streaming。

來源

2011-09-05 03:07:06 Iterator

您的鏈接已損壞 –

運行Hadoop MapReduce，是否可以調用HDFS之外的外部可執行文件

回答

相關問題