訪問Amazon EMR中的Azure blob存儲

Question

我想從Amazon EMR中的Spark羣集設置訪問Azure blob存儲中的大量數據（〜20 TB）。做這個的最好方式是什麼？將這些數據轉移到S3是唯一的選擇嗎？如果是，那麼將這些數據傳輸到S3的最便宜方式是什麼？

謝謝！

Answer 1

根據您的描述，您有大約20TB的數據要傳輸到Amazon S3。我對亞馬遜並不熟悉。但在Azure中，我們將收取數據傳輸費用。這裏是pricing site。例如，你需要每GB 0.08美元。 20 * 1024 * 0.08 = 1638.4美元。這非常貴。我建議你考慮其他方法。如果您根本不關心金錢，請嘗試在Google中搜索工具或編寫自己的代碼來傳輸這些數據。