2016-07-30 69 views
1

我讀What conditions should cluster deploy mode be used instead of client?一個答案,驅動程序進程是否可以在Spark集羣之外運行?

(客戶端模式),你可以運行在您的筆記本電腦火花提交,和驅動程序將在您的筆記本電腦上運行。

此外,星火醫生說,

在客戶端模式下,驅動程序在相同的工藝提交申請的客戶端啓動。

這是否意味着我可以從任何機器提交spark任務,只要它可以從主機訪問並具有Spark環境?

換句話說,驅動程序進程是否可以在Spark集羣之外運行?

回答

1

是的,司機可以在你的筆記本電腦上運行。請記住:

  • Spark驅動程序需要Hadoop配置才能夠與YARN和HDFS交談。您可以從羣集中複製它並通過HADOOP_CONF_DIR指向它。
  • Spark驅動程序將監聽很多端口,並期望執行程序能夠連接到它。它將宣傳您的筆記本電腦的主機名稱。確保可以解決問題,並且可以從羣集環境訪問所有端口。
+0

除了YARN和HDFS之外,驅動程序還需要與工作人員共享「相同類型的文件系統」。做'dataframe.write(path)'然後'path'必須存在於驅動程序和工作者,如果工作人員在Linux中,例如在windows筆記本電腦上的驅動程序,這可能是個問題... –

+0

'path' would通常是'hdfs:// ...'。這不是Windows vs Linux的問題。 –

0

是的,我正在使用選項--deploy-mode羣集在局域網上運行spark-submit作業。但是,目前運行到this問題:服務器響應(json對象)不是很具描述性。

相關問題