airflow

0熱度

1回答

我很新與氣流，我有這個問題：我有一個DAG，處理TXT文件並將其轉換爲CSV，這是配置： one_days_ago = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past':

2熱度

1回答

aiflow max活動達格運行達到了

氣流開始後，沒有一個達格爲特定的達格運行並達到最大活躍標準。即使在將dag運行狀態設置爲成功後，Scheduler似乎也不會將新計劃的任務移至執行狀態。所有活動的DAG運行保持「運行」狀態。這發生在一些dag單獨。有人可以幫忙嗎？

0熱度

2回答

如何在Airflow中動態創建的任務之間創建依賴關係

我正在使用下面的代碼創建動態任務。我想創建這些動態創建的任務的依賴關係。對於e.g，runStep_0應該依賴於runStep_1等 for i in range(4): task = BashOperator( task_id='runstep_' + str(i), bash_command=cmd dag=dag)

1熱度

1回答

氣流不會觸發與`LocalExecutor`同時發生的DAG

我正在使用氣流1.7.1.3。我遇到併發DAG /任務問題。當DAG正在運行時，調度程序不再啓動其他DAG。看起來，調度程序完全凍結（不再有日誌）......直到正在運行的DAG完成。然後，新的DAGrun被觸發。我的不同任務是長時間運行的ECS任務（~10分鐘）我使用了LocalExecutor，我讓默認配置約爲parallelism=32和dag_concurrency=16。我使用air

6熱度

1回答

氣流啓動失敗，原因是gunicorn

Traceback (most recent call last): File "./python_runtime/bin/airflow", line 15, in <module> args.func(args) File "/home/admin/airflow/python_runtime/lib/python2.7/site-packages/airflow

0熱度

1回答

氣流Web服務器上啓動僅在調試模式

氣流Web服務器上啓動僅在調試模式 airflow webserver -p 8051 [2016-10-18 18:41:13,816] {__init__.py:36} INFO - Using executor CeleryExecutor ____________ _____________ ____ |__()_________ __/__ /________ __

4熱度

2回答

將日誌添加到氣流日誌中

如何將自己的日誌添加到自動生成的Apache Airflow日誌中？任何打印語句都不會在那裏登錄，所以我想知道如何添加我的日誌，以便它顯示在UI上？

5熱度

1回答

寫入氣流日誌

在Airflow中寫入日誌的一種方法是從PythonOperator返回一個字符串，如第44行here。是否有其他方法可以讓我寫入氣流日誌文件？我發現打印語句不會保存到日誌中。

0熱度

1回答

DAG從氣流調度程序開始找不到airflow.cfg

我正在利用Airflow v1.7.1.3提供訪問airflow.cfg以將某些配置值放置在其中而不是嵌入代碼中的事實。我們增加以下內容作爲airflow.cfg文件的第一行： [foo] bar = foo bar 在代表DAG的foobarDAG.py類，我做了以下內容： from airflow.configuration import conf … def fooBa

5熱度

1回答

氣流：PythonOperator：爲什麼要包含'ds'arg？

定義一個稍後用作python_callable的函數時，爲什麼包含'ds'作爲函數的第一個參數？例如： def python_func(ds, **kwargs): pass 我看着氣流的文件，但找不到任何解釋。