如何在Opencl應用程序中使用hadoop MapReuce框架？

Question

我正在opencl中開發一個應用程序，其基本目標是在GPU平臺上實現數據挖掘算法。我想使用Hadoop分佈式文件系統並希望在多個節點上執行該應用程序。我正在使用MapReduce框架，並將我的基本算法分爲兩部分，即'Map'和'Reduce'。

我從來沒有在Hadoop中工作過，所以我有一些問題：

1. 我必須用Java寫我的應用程序只使用Hadoop和Mapeduce框架？
2. 我已經編寫了map和opencl中的內核函數。是否可以將HDFS文件系統用於非Java GPU計算應用程序？ （注：我不想用JavaCL或Aparapi）

Answer 1

你可以使用Hadoop的數據流，有了它你可以寫在任何語言，你想，只要映射器和減壓器爲您的代碼可以從標準輸入輸出讀取回信給它。爲了獲得靈感，您可以採取以下示例：how R is used with Hadoop Streaming

Answer 2

HDFS是一種文件系統;您可以使用任何語言的HDFS文件系統。

HDFS數據分佈在多臺機器上，它在處理GPU計算中的數據時具有很高的可用性。

欲瞭解更多信息，請參閱Hadoop Streaming。