如何將大文件上傳到天藍色的hadoop羣集？

如何將較大的文件上傳到天藍色的hadoop羣集？如何將大文件上傳到天藍色的hadoop羣集？

有沒有辦法通過遠程桌面連接瀏覽到hadoop集羣中的/ example/apps目錄，以便我可以複製這些文件？

來源

2013-01-21 Paracharan

通過HTTP/HTTPS將文件複製到Azure Blob存儲，然後通過指向上傳文件的HTTP URL，從Azuure上的Hadoop（HDInsight）MapReduce它們。

Cheers

來源

2013-01-21 08:31:26 user728584

感謝您的回覆！我想運行一個map reduce作業，它需要dll在HDFS中。那麼，是否有任何選擇將dll（7mb）轉換爲hdfs？ – Paracharan

我不知道，從來沒有嘗試過（通過一個外部的工作看起來可能，也許簡單的方法也是如此），沒有找到這個信息和博客文章「Hadoop的流媒體是一種實用工具，以支持運行外部地圖和減少就業機會。這些外部作業可寫在不同的編程語言如Python或Ruby - 我們應該談談微軟HDInsight，示例最好是基於.NET的C＃...」 http://bighadoop.wordpress.com/2012/12/06/microsoft-and- Hadoop的Windows的蔚hdinsight / – user728584

HDInsight使用Windows Azure Blob存儲（WASB）。有幾種方法可以將數據上傳到WASB：

AzCopy
的Windows Azure PowerShell的
第三方工具包括Azure存儲資源管理，雲存儲工作室2，CloudXplorer等。
Hadoop命令行。您必須先啓用RDP。

來源

2013-02-14 20:06:15

如何將大文件上傳到天藍色的hadoop羣集？

回答

相關問題