0 星火將自動重新丟失的分區。 來源 2016-11-11 16:33:18 +0 謝謝西蒙。但是我在一些博客中讀到,如果我們丟失了任何RDD分區,我們需要重放該分區上的轉換。那是對的嗎? – +0 在具有8個節點的羣集上運行代碼時。然後你的RDD是分佈式的。現在它可能發生,你失去了一個節點。該節點上的RDD分區丟失。開發人員不必處理這種情況。 Spark會自動重新計算(重放)不同節點上的丟失分區。但是,您的輸入數據應該在所有節點上可用,在hdfs中複製或在nfs的主節點上可用。 –
謝謝西蒙。但是我在一些博客中讀到,如果我們丟失了任何RDD分區,我們需要重放該分區上的轉換。那是對的嗎? –
在具有8個節點的羣集上運行代碼時。然後你的RDD是分佈式的。現在它可能發生,你失去了一個節點。該節點上的RDD分區丟失。開發人員不必處理這種情況。 Spark會自動重新計算(重放)不同節點上的丟失分區。但是,您的輸入數據應該在所有節點上可用,在hdfs中複製或在nfs的主節點上可用。 –