火花中的應用，工作，舞臺和任務的概念是什麼？

Question

我的理解正確嗎？

1. 應用： 一個火花提交。

2. 工作： 一旦一個懶惰的評估發生，就有一份工作。

3. 階段： 它涉及到洗牌和轉換類型。 我很難理解舞臺的邊界。

4. 任務： 它是單元操作。每個任務轉換一次。每個轉換一個任務。

有助於提高這種理解。

Answer 1

主要功能是應用程序。

當您在RDD上調用某個操作時，會創建一個「作業」。工作是提交給Spark的工作。

作業根據洗牌邊界分爲「階段」。 This可以幫助你理解。

每個階段根據RDD中的分區數進一步劃分爲任務。所以任務是Spark最小的工作單位。