在Spark的客戶端模式下，驅動程序需要通過網絡訪問遠程執行程序？

Question

當在客戶機模式（例如紗線的客戶機）使用火花，是否運行驅動程序在本地機器直接與運行在遠程執行人羣集工人節點通信？

如果是的話，這是否意味着機器（在運行驅動程序）需要有工作節點的網絡訪問？因此，主節點向集羣請求資源，並將工作節點的IP地址/端口返回給驅動程序，以便驅動程序可以啓動與工作節點的通信？

如果不是，客戶端模式如何實際工作？

如果是，這是否意味着如果集羣的方式，工作節點是不是羣集外部可見配置的客戶端模式將無法正常工作，以及一個將不得不使用集羣模式？

謝謝！

Answer 1

當您在客戶端模式中運行Spark時，驅動程序進程在本地運行。 在羣集模式，它運行遠程上ApplicationMaster。

換句話說，你需要所有節點看到對方。 Spark驅動程序肯定需要與所有工作節點進行通信。如果這是一個問題，請嘗試使用yarn-cluster模式，然後驅動程序將在其中一個節點上的羣集內運行。

Answer 2

驅動器連接到主星火，請求上下文，然後星火法師經過星火工人驅動程序的細節進行溝通，並獲得如何做的指令。

這意味着驅動程序節點必須在網絡上向工作人員提供，並且它的IP必須是對他們可見的IP（即，如果驅動程序在NAT後面，而工作人員在不同的網絡中，沒有工作，你會看到工人的錯誤，他們無法連接到驅動程序）