airflow

0熱度

1回答

我是Airflow的新用戶。我正在按照教程編寫以下代碼。 from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta from models.correctness_prediction import

1熱度

1回答

氣流重啓會影響當前正在運行的作業嗎？

這似乎是一個平凡的問題，但只是爲了安全起見，重新啓動氣流服務對當前正在運行的作業有什麼影響？

8熱度

2回答

氣流動態DAG和任務Id

我看到大多被用於相關的作業ETL /出價資料氣流。我正嘗試將其用於業務工作流，其中用戶操作將來會觸發一組依賴任務。其中一些任務可能需要根據某些其他用戶操作進行清除（刪除）。我認爲處理這個問題的最好方法是通過動態任務ID。我讀到Airflow支持動態DAG ID。所以，我創建了一個簡單的Python腳本，它將DAG ID和任務ID作爲命令行參數。但是，我遇到了使其工作的問題。它給了dag_id找不

3熱度

1回答

Airbnb Airflow：無需pip安裝氣流

有沒有方法可以在沒有pip的情況下安裝Airflow？我正在嘗試在沒有pip的離線計算機上安裝Airflow。我從互聯網上下載了軟件包，但我不確定如何在沒有點子的情況下運行安裝。有誰知道如何用'setup.py'來運行安裝？謝謝！

0熱度

1回答

動態創建的任務/ dag在apache airflow中不工作

我創建了一個DAG，其中包含爲每個工作流調度@daily間隔和單獨的任務ID。但它沒有按照例外運行。有沒有可能這樣做？有沒有其他方法可以爲特定的DAG創建動態任務？並使用命令行暫停特定任務實例？ from __future__ import print_function from builtins import range from airflow.operators import Pytho

3熱度

2回答

如何將airflow調度器作爲守護進程運行？

我是新來的氣流。我試圖將氣流調度程序作爲守護程序進程運行，但該進程壽命不夠長。我已經配置在airflow.cfg文件「LocalExecutor」跑了之後開始調度命令。（我使用谷歌計算引擎，並透過膩子服務器） airflow scheduler --daemon --num_runs=5 --log-file=/root/airflow/logs/scheduler.log 當我運行此命令時，

2熱度

1回答

ETL vs工作流管理以及應用哪些？他們可以使用相同的嗎？

我正在爲客戶端設置數據管道。我花了很多年的時間分析事情，但現在我正在與一家只有真正擁有生產環境的小店合作。我們做的第一件事是創建一個複製的生產實例，但我想應用一種數據倉庫的思路來使分析部分更容易。我的問題歸結爲使用什麼工具？另外，爲什麼？我一直在尋找類似於ETL的解決方案，但也對Airflow非常感興趣。問題是我不太清楚哪種更適合我的需求。我想輕鬆地監視和創造就業機會（我寫的蟒蛇很流利使氣流創

8熱度

1回答

Airbnb Airflow vs Apache Nifi

Airflow和Nifi是否在工作流程上執行相同的工作？每個人的親/愛是什麼？我需要閱讀一些json文件，向它添加更多的自定義元數據並將其放入要處理的卡夫卡隊列中。我能夠在Nifi中做到這一點。我仍在研究Airflow。我正在嘗試爲我的項目選擇最佳的工作流引擎謝謝！

5熱度

1回答

氣流：如何從不同的服務器SSH和運行BashOperator

有沒有辦法使用Airbnb的Airflow來運行不同的服務器並運行BashOperator？我想用Airflow運行配置單元sql命令，但我需要SSH以不同的盒子才能運行配置單元外殼。我的任務應該是這樣的： SSH到server1 開始蜂巢外殼運行蜂巢命令謝謝！

0熱度

1回答

如何在使用trigger_dag時避免氣流回填？

我想創建一個只能在外部觸發器上運行的DAG（即使用'airflow trigger_dag'命令）。但是，當我這樣做時，除了我想要的'manual_xxx'外，還會看到多個'scheduled_xxx'DagRun。我假設scheduled_xxx DagRun被創建爲回填？有沒有辦法只有'manual_xxx'創建DagRun，沒有'scheduled_xxx'DagRuns？我嘗試了不同的