如何知道Spark作業的狀態

Question

現在我有一個在amazon ec2上運行的工作，我使用putty連接到ec2集羣，但只知道putty的連接丟失了。當我重新連接ec2集羣后，沒有輸出任務，所以我不知道我的工作是否還在運行。任何人都知道如何檢查Spark工作的狀態？

感謝

Answer 1

假設你是紗線集羣上，你可以運行 紗應用-list 得到appliactions的列表，然後運行 紗應用-status的applicationID 知道狀態

Answer 2

它當在遠程機器上工作時，使用GNU Screen（或其他類似工具）保持會話保持活動狀態（但分離，如果連接與計算機丟失）是一種很好的做法。

Spark應用程序的狀態可以從Spark UI（或Yarn UI）中確定。

如果您正在尋找CLI命令：

對於獨立的集羣使用：

spark-submit --status <app-driver-id> 

對於紗線：

yarn application --status <app-id>