爲星火

Question

官方指導分佈式存儲說：

如果使用本地文件系統的路徑，文件也必須在 工作器節點上相同的路徑訪問。將文件複製到 所有工作人員或使用網絡安裝的共享文件系統。

Spark是否需要某種分佈式文件系統來進行隨機播放？或者我可以複製所有節點上的輸入，而不用打擾NFS，HDFS等？

Answer 1

Spark不依賴分佈式文件系統進行隨機播放。與傳統的映射縮減不同，Spark不需要寫入HDFS（或類似的系統），而是通過跟蹤數據沿襲並在發生節點故障時通過重新計算任何數據節點。