是否可以使用.NET爲Amazon Elastic MapReduce編寫map/reduce作業？

Question

是否可以使用.NET語言爲Amazon Elastic MapReduce（http://aws.amazon.com/elasticmapreduce/）編寫map/reduce作業？特別是我想用C＃。

初步研究表明沒有。上述URL的營銷文本表明您有「Java，Ruby，Perl，Python，PHP，R或C++」的選擇，而不提及.NET語言。亞馬遜線程（http://developer.amazonwebservices.com/connect/thread.jspa?messageID=136051 - 「支持C＃/ F＃map/redurs」）明確表示「目前Amazon Elastic MapReduce不支持Mono平臺或諸如C＃或F＃等語言。」

以上顯示無法完成。不過，我想知道是否有任何解決方法。例如，我可以爲我的帳戶修改Elastic MapReduce機器映像，並在那裏安裝Mono嗎？

一種替代，通過亞馬遜常見問題建議「使用您的罐所需的其他軟件」（http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/index.html?CHAP_AdvancedTopics.html）和「如何使用其他文件和庫，映射或減速」（http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/index.html?addl_files.html），是使的第一步Map/Reduce作業是在本地實例上安裝Mono。這聽起來有點低效，但也許它可以工作？

也許更理想的選擇是嘗試放棄Elastic MapReduce的便利，並在EC2上手動設置我自己的Hadoop集羣。然後我假設我可以毫無困難地安裝Mono。

Answer 1

是的，可以像前面的回答者建議的那樣使用Bootstrap動作。

的博客文章 - http://atbrox.com/2011/02/07/an-example-of-using-f-and-c-netmono-with-amazons-elastic-mapreduce-hadoop/ - 提供具有一個C＃映射器，並用單一個F＃減速

Answer 2

您應該可以使用任何.NET語言（包括C＃）中的VB.NET library。

Answer 3

可能會有一種解決方法，使用Hadoop流並使用Ahead Of Time編譯器將C＃代碼編譯爲本地代碼（檢查：http://www.mono-project.com/AOT）。我想，這個二進制文件可以像C++程序那樣從S3運行。

Reed Copsey的回答不正確。 VB.NET庫用於創建作業，從&開始停止它們，但不涉及在Hadoop作業中實際運行的代碼。

Answer 4

彈性MapReduce現在有一個「引導操作」功能，亞馬遜目前解釋如下： 之前Hadoop的起點

一個引導作用是一種機制，允許您運行彈性MapReduce實例腳本。引導操作腳本存儲在Amazon S3中，並在創建新作業流時傳遞給Amazon Elastic MapReduce。引導操作腳本從 下載Amazon S3並在作業流程執行之前在每個實例上執行。

引導操作腳本可以用作業流程 實例上已安裝的任何語言編寫，包括Ruby，Python，Perl和bash。

（見http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/index.html?introduction.html）

一個建議使用的，這是對你的集羣機器上安裝軟件。您可以使用它在您的羣集機器上安裝.NET運行時環境（可能是Mono，而不是Microsoft的，因爲我想所有的Elastic MapReduce機器都在運行Linux）。 （不知道無人看管的安裝有多難，任何想法？）完成後，您可以使用Elastic MapReduce似乎支持的Hadoop流式調用.NET映射器/ Reducer。