-1
它在「星火在行動」書中提到的像在駕駛員執行的代碼執行,火花蓄電池 - 這是在執行Vs的
您只能從驅動程序中訪問累加器的值。如果您嘗試從執行程序訪問它,則會引發異常。
我在學習火花並遇到以上情況。如何區分或識別在執行程序中執行的代碼與在驅動程序中執行的代碼。
此外,作者提到上面用下面的代碼
https://i.imgur.com/aWx1nAs.png
上執行器運行它在「星火在行動」書中提到的像在駕駛員執行的代碼執行,火花蓄電池 - 這是在執行Vs的
您只能從驅動程序中訪問累加器的值。如果您嘗試從執行程序訪問它,則會引發異常。
我在學習火花並遇到以上情況。如何區分或識別在執行程序中執行的代碼與在驅動程序中執行的代碼。
此外,作者提到上面用下面的代碼
https://i.imgur.com/aWx1nAs.png
上執行器運行變換&動作駕駛員換句話說任務(變換)運行在工人(執行人),並且當操作執行(採取/收集)被稱爲它帶回驅動程序的數據。返回價值。
當在RDD上調用任何操作時,Spark創建DAG並提交給DAG調度程序,DAG調度程序將操作員劃分爲任務的各個階段。一個階段由基於輸入數據分區的任務組成。 DAG調度程序一起管理運營商。
階段傳遞到任務計劃程序。任務計劃程序通過集羣管理器啓動任務(獨立/紗線/介子)。
感謝您的快速響應。然而,問題是知道如何找出(或識別)部分代碼將在驅動程序中執行,部分代碼將在執行程序中執行 – Nag
在執行程序上執行的轉換和操作在驅動程序上運行,因爲它需要返回值。 –
完美!它對代碼運行的用戶是隱藏的,在這種情況下,如何編寫代碼來執行執行程序中的代碼並在驅動程序中執行(PS。請參考問題中發佈的圖片) – Nag