使用大數據運行機器學習算法時使用Blob是好還是有必要

Question

我知道我可以將數據文件上傳到azure ml（作爲新數據集）還是我可以使用Blob（並在ML實驗中讀取數據）。我想知道在培訓機器學習模型和創建與預測相關的ML解決方案時是否特別推薦了其中之一。

我使用Azure的目標是根據各種功能對用戶進行羣集。我有一個很大的數據集（〜50GB）。我想知道你是否有任何建議。

我感謝任何幫助！

Answer 1

如Azure Machine Learning Frequently Asked Questions所述：「對於大於幾GB的數據集，您應該將數據上傳到Azure存儲或Azure SQL數據庫或使用HDInsight，而不是直接從本地文件上傳。」

另請注意Machine Learning Studio中模塊的最大數據集大小。這些限制被列爲上面鏈接的相同常見問題的一部分。