在hadoop和mapreduce上運行R腳本

Question

我有一個R腳本，它用一堆tweets做東西，我想對同一個數據使用相同的腳本，但保存在Hadoop文件系統中。根據this Hortonworks教程，我可以使用R代碼和我的HDFS中的數據，但它不是很清楚。

通過使用這個Revolution R，我可以使用非常相同的R腳本，利用mapreduce範例嗎？我應該改變我的代碼還是有辦法執行爲Hadoop體系結構優化的相同功能？ 我的願望是將我的代碼寫在R-Studio等標準R IDE上，然後在我的雲服務（例如Microsoft Azure）上使用它，或者使用它的大部分，並在基礎上使用mapreduce。

Answer 1

是的，您可以使用特定於環境的計算上下文，跨Hadoop到Spark的不同數據平臺運行任何R腳本到Teradata和SQL Server。

以下兩個鏈接應該幫助你開始瞭解如何在Hadoop的使用革命R /微軟R服務器：

https://msdn.microsoft.com/en-us/microsoft-r/scaler-hadoop-getting-started

https://github.com/Azure/Azure-MachineLearning-DataScience/blob/master/Misc/MicrosoftR/Samples/NYCTaxi/NYC2013_MRS_LinearBinary.Rmd