在羣組之間共享大型數據集

Question

可以請某人推薦一個在線服務，以共享100GB以上的大型文件，羣組中的人員？ 具體來說，我們正在研究一個機器學習項目，它需要不斷地訪問這些文件，而不需要下載它們。對於這個項目，我們將使用python和R來操縱文件，我知道我可以上傳並與Git共享代碼，但是有一種服務（如docker？），您可以在線存儲信息並「玩」它？

謝謝！

Answer 1

常見做法 - 將Git用於代碼，將S3用於數據。

您還可以查看開源工具DVC - http://dataversioncontrol.com - ，它使用S3或GCP存儲編排Git建模代碼。它是爲ML情景設計的。 Python和R代碼都由DVC支持。