使用Airflow在另一臺計算機上安排任務

我成功地在Ubuntu遠程服務器上設置了帶有Postgres數據庫的Airflow，它看起來很棒。使用Airflow在另一臺計算機上安排任務

我能夠連接到我的數據倉庫（一個單獨的服務器），並輕鬆地發出查詢作爲任務。這很簡單，因爲安裝了Airflow的服務器實際上正在發出查詢。

因爲我現在只是測試Airflow，所以它安裝在一個相當小且功耗低的服務器上。有沒有辦法讓我安排任務在我強壯的Windows桌面上運行？或者利用我的本地機器下載數據/流程文件的最佳方法是什麼，Airflow仍然知道任務已成功完成？

2017-03-07 trench

氣流設計用於支持工作量分配。如果運行airflow workers來完成Windows機器上的大部分數據處理，那麼您可以在小型機器上運行airflow scheduler和airflow webserver時使用它們的計算能力，因爲這只是持續觸發新任務，檢查心跳和更新任務狀態。要使此設置生效，您必須使用CeleryExecutor。我發現this blog有用，當我做我的第一次設置

來源

2017-03-07 20:23:47 nehiljain

感謝您的鏈接。我會用它作爲基礎。用芹菜，我是選擇RabbitMQ還是Redis？我以前沒有使用過消息服務。如果這一點很重要，我將全面使用Python 3.6。 – trench

您可以使用Redis。與rabbitmq相比，它很容易設置，但對於健壯的生產系統，您應該仔細評估兩者的應用程序。 – nehiljain

使用Airflow在另一臺計算機上安排任務

回答

相關問題