火星殼消耗的紗線資源，如何阻止它

Question

這是我的問題，現在，當我開始使用火花外殼時，它會消耗大量資源並且可能使它們保持有限/通過影響其他並行運行的應用程序。

例如，我正在運行一些spark-shell命令，並且意外地將shell打開並且未關閉會話，所有資源都將保持不變，並且所有其他用戶都無法處理任何內容，除非我關閉我的環節

如何從紗線角度解決這個問題。

Answer 1

您可能希望爲Cloudera中的Yarn設置資源池使用情況。您可以爲每個用戶分配一些資源。即使您使用了所有資源，也會有一些用戶可用。

如果您不想在用戶之間分割紗線資源。您可以將SPARK設置爲使用動態分配（在http://spark.apache.org/docs/latest/configuration.html中檢查spark.dynamicAllocation.enabled屬性）。所以如果你打開你的火星殼並完成你的工作，火花會將資源歸還給紗恩。 但是你可以在使用動態分配

問候， 阿爾諾

沒有設置執行者的數量