使用.exe作爲映射器（Hadoop）的一部分

Question

我正在編寫一個mapreduce作業來處理二進制日誌文件。在獲取相關信息之前，需要一個可執行文件來處理文件。是否是java進程生成器提供這種最佳方式？

Answer 1

如果您需要運行EXE，您可能會失敗，因爲Linux是唯一支持Hadoop的平臺。我聽說有人在Cygwin上試用Hadoop，但試圖讓配置正常工作可能是一場艱苦的戰鬥。

如果你仍然想使用Hadoop的，我會建議下列之一：

• 使用Windows框，您的二進制日誌文件轉換爲中間格式;那麼你可以在Hadoop中處理它。
• 用Java重寫轉換邏輯
• 如果您的EXE prog是C＃/ .NET，您可以使用Mono在Linux上運行它，並使用Hadoop流調用外部程序。