紗線上的火花：如何防止計劃多個火花工作

紗線上有火花 - 我沒有看到阻止同時工作被安排的方法。我有我的架構設置純粹批處理。紗線上的火花：如何防止計劃多個火花工作

我需要這個，原因如下：

資源約束
UserCache火花真正快速增長。運行多個作業會導致緩存中的空間爆炸。

理想情況下，我很想看看是否有一個配置可以確保只有一個作業在紗線上隨時運行。

來源

2016-04-13 Keshi

您可以運行創建一個隊列，該隊列只能託管一個應用程序主控並運行該隊列上的所有Spark作業。因此，如果一個星火作業正在運行其他的將被接受，但他們不會被調度和運行，直到運行中的執行已經完成......

來源

2016-04-13 07:50:26 mgaido

我使用的是HortonWorks的HDP。我看到有一個隊列正在使用，但沒有看到如何配置它，以確保只有一個運行。任何提示配置尋找？ – Keshi

您可以在這裏找到Hortonworks關於隊列管理的一些文檔（https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_performance_tuning/content/section_create_configure_yarn_capacity_scheduler_queues.html）。正如你所看到的，隊列的其中一個設置是被接納的應用程序的最大數量...... – mgaido

終於找到了解決辦法 - 在紗文件：yarn.scheduler.capacity .max-applications必須設置爲1而不是10000.

來源

2016-04-15 00:34:09 Keshi

紗線上的火花：如何防止計劃多個火花工作

回答

相關問題