我讀What conditions should cluster deploy mode be used instead of client?一個答案,驅動程序進程是否可以在Spark集羣之外運行?
(客戶端模式),你可以運行在您的筆記本電腦火花提交,和驅動程序將在您的筆記本電腦上運行。
此外,星火醫生說,
在客戶端模式下,驅動程序在相同的工藝提交申請的客戶端啓動。
這是否意味着我可以從任何機器提交spark任務,只要它可以從主機訪問並具有Spark環境?
換句話說,驅動程序進程是否可以在Spark集羣之外運行?
除了YARN和HDFS之外,驅動程序還需要與工作人員共享「相同類型的文件系統」。做'dataframe.write(path)'然後'path'必須存在於驅動程序和工作者,如果工作人員在Linux中,例如在windows筆記本電腦上的驅動程序,這可能是個問題... –
'path' would通常是'hdfs:// ...'。這不是Windows vs Linux的問題。 –