airflow

0熱度

1回答

我試圖測試Kubernetes上的氣流。調度程序，工作者，隊列和Web服務器都在不同的部署上，我使用Celery Executor來運行我的任務。除了調度程序無法排隊工作以外，一切正常。當我從Web UI或CLI手動執行它時，Airflow能夠正常運行我的任務，但我試圖測試調度程序以使其工作。我的配置幾乎一樣，因爲它是在單個服務器上： sql_alchemy_conn = postgresql

0熱度

1回答

氣流1分鐘後殺死我的任務

我有一個非常簡單的DAG有兩個任務，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

1熱度

1回答

Airflow ExternalTaskSensor卡住

我正在嘗試使用ExternalTaskSensor並且卡在另一個DAG的任務中，該任務已成功完成。這裏，第一個DAG「a」完成其任務，然後通過ExternalTaskSensor第二個DAG「b」應該被觸發。相反，它被卡在a.first_task中。首先DAG： import datetime from airflow import DAG from airflow.operato

0熱度

1回答

Airflow不會啓動我的dags（激活python環境並啓動python腳本）

我想安排一個Python作業，每15分鐘啓動一次。我已經使用過氣流，並沒有遇到過任何問題。我用今天早些時候的開始日期創建了一個dag，頻率爲15分鐘，兩個任務包括激活一個虛擬Python環境，然後啓動一個python腳本。但是，我的dags不會執行自己，所以我啓動了一個web服務器來檢查它的狀態並且什麼也沒有發生。因此，我嘗試使用trigger_dag命令在外部啓動它，但其狀態保持運行狀態。我

1熱度

2回答

我該如何獲得dag中的execution_date？運營商的外部？

如何在dag外部獲得execution_date參數？ execution_min = "{{execution_date.strftime('%M') }}" if execution_min == '00': logging.info('**** ' + "YES, It's 00") final_task = DummyOperator( task_id='

0熱度

1回答

逃生撇號

我真的試圖在下列方式使用泊塢窗CLI命令添加變量： docker exec -u root airflowdags_webserver_1 bash -c "airflow variables --set my_var '{\"test\": \"test\'2\"}'" 但是，得到以下錯誤： bash: -c: line 0: unexpected EOF while looking for

1熱度

1回答

氣流回填新任務添加到Dag

今天說是2017-10-20。我有一個現在的成功直到今天的DAG。我需要添加一個啓動日期爲2017-10-01的任務。如何自動從2017-10-01到2017-10-20使調度程序觸發器任務成爲可能？

0熱度

1回答

在氣流中運行DAG時的「處理信號：ttou」消息

我已經創建了示例DAG，其中我具有DAG配置，如下所示。 default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': one_min_ago, 'email': ['[email protected]'], 'email_on_failure': Tr

0熱度

1回答

如何在氣流中啓用子標籤？

氣流文件，它被提及如下「Subdags必須有一個時間表，並啓用即使subdags被觸發作爲一個更大的DAG的一部分，如果他們的日程安排設置爲無或「@一旦「，這個subdag運營商就會成功而不做任何事情」。但不清楚，我們如何啓用子標籤。有什麼辦法來啓用Subdag嗎？

0熱度

1回答

阿帕奇氣流1.9從GitHub

在Debian 8安裝我安裝了Apache氣流1.9從GitHub感謝這個命令行的debian 9：pip install git+https://github.com/apache/[email protected] 不過，我有造成Fernet的airflow initdb過程中發生錯誤，你知道如何解決這個問題？ INFO [alembic.runtime.migration] Running