火花客戶端重新連接到YARN簇

Question

從官方火花文檔（http://spark.apache.org/docs/1.2.0/running-on-yarn.html）：

在紗線羣集模式，所述火花驅動器，其是由紗線所管理的簇上的應用程序的主進程中運行，並且客戶端可以在啓動應用程序後離開。

有沒有一種方式，客戶在某個時候重新連接回司機後來收集的結果？

Answer 1

沒有簡單的方法，我知道的。

從廣義上講，紗羣集模式是有道理的生產崗位，而紗線的客戶端模式是有道理的，互動和調試使用要立即看到您的應用程序的輸出。

在生產作業時，最簡單的也許是讓你的駕駛船的結果某處一旦他們（例如它們寫入HDFS，記錄......）。

Answer 2

通常你可以用

yarn logs -applicationId <app ID> 

檢查https://spark.apache.org/docs/2.2.0/running-on-yarn.html

檢查日誌如果日誌聚集打開（與yarn.log聚集啓用 配置），容器日誌複製到HDFS並在本地 機器上刪除。這些日誌可以在集羣中的任何位置使用 yarn logs命令查看。

yarn logs -applicationId <app ID> 

將從 打印出所有的日誌文件的內容從所有容器中給定的應用