1
我想了解火花數據幀執行。我已經閱讀了日誌並解釋了計劃,但我不清楚。我的問題是說我有星火計劃項目和我有一些一系列的數據幀的像下面這做一些事情火花數據幀執行
df1 = gets some data
df2 = gets some other data
df3 = df1.join(df2....)
df4= df3.join(some other data set)
df5 = df3.join(some other data set)
d6 = d4.join(some other data set)
d7 = d5.join(some other data set)
d6.write...()
d7.write...()
比方說上面是一系列數據幀的。所以我的問題是,當d6.write發佈時,df1,df2,df3,df4會被執行,當d7.write發出時,df1,df2,df3,d5會被執行嗎?堅持d3數據框是一個好主意嗎?