對HDFS的Spark需求

Question

大家好，我可以解釋一下，Apache的Spark Standalone需要HDFS嗎？

如果需要在Spark應用程序執行期間Spark如何使用HDFS塊大小。 我的意思是試圖理解Spark應用程序執行期間HDFS角色是什麼。

Spark文檔說處理並行性是通過RDD分區和執行程序/內核來控制的。

任何人都可以請幫我理解。

Answer 1

如果不使用HDFS，Spark可以毫無問題地工作，而且肯定不需要核心執行。

一些分佈式存儲（不一定是HDFS）是檢查點定位所必需的，對於保存結果很有用。