氣流任務在所有節點上運行

我有使用芹菜和redis的氣流集羣。我有一個任務，我想要在所有工作人員上運行。我怎樣才能做到這一點？氣流任務在所有節點上運行

原因：我們根據工人負荷增加和減少氣流工作人員。我必須在所有節點上運行一個任務。

感謝您的幫助。

聽起來就像你試圖監視Airflow集羣中的工作者節點，如果工人處於高負載下，增加了工人節點/執行器？這是你想要做的嗎？

如果是這樣，我認爲這種工作應該由其他工具來管理，如Jenkins + Ansible。

如果不是，請忽略此操作或使用更多信息更新您的問題。

2017-10-19 03:30:54 Fan

我不想監測氣流工作者，Airflow確實允許我們監測節點。但是，我無法在所有節點上運行某些任務。例如VPN連接可能會在一段時間後中斷，我們想運行重新連接到VPN的sh文件，但是我想在所有節點中執行它，而不是一個隨機節點。 –

我不認爲氣流被設計來解決你提到的那種任務。我想你知道這個任務是由工人節點中的執行者執行的，所以你要做的是將一個任務分配給每個工人的一個執行者，這不是氣流工作的方式。試試Cron或Jenkins + Ansible可能更容易實現。 – Fan

如果這是正常的東西，我同意你的意見。但我需要運行這個氣流支持。否則，我的氣流就開始失敗了。我目前正在使用cron。但是，我想知道是否有比基本的cron工作更好的解決方案 –

回答