Q

上次spark-submit完成（或失敗）後轉速下降+ xxx時間

2017-03-09 21 views 0 likes

0

我正在使用Amazon的EMR羣集，但未使用添加步驟API。例如，如果它閒置了3天，我想要一種關閉羣集的方式。上次spark-submit完成（或失敗）後轉速下降+ xxx時間

如果我要構建它，我可能只需在集羣上運行一個歷史命令並查找最後的命令。有沒有更好的辦法？

2017-03-09 Brian Bruggeman

A

回答

1

最簡單的方法是檢查紗線作業列表。您可以顯示正在運行的作業：

yarn application -list

-list爲您提供了一些更多選項，您可能需要進行探索。

2017-03-12 20:35:23

+0

感謝這個答案，但我不認爲這實際上告訴我我需要知道什麼。如果集羣閒置了一段時間，我想關閉它。在這種情況下，'yarn application -list'命令只會給我提供正在運行的數據......而不是自上次應用程序執行完成後的時間。 –

+0

那麼，您可以從紗線應用程序清單中收集標識符，並查詢單個標識符：紗線應用程序 - 狀態<應用程序標識>。這將顯示開始時間（和完成時間，一旦應用程序完成） –

+0

此外，您還可以使用以下命令查詢完成的應用程序：yarn application -list -appStates FINISHED –

相關問題