airflow

0熱度

4回答

Airflow似乎正在跳過我添加到/ usr/local/airflow/dags的dags。當我運行 airflow list_dags 輸出顯示 [2017-08-06 17:03:47,220] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow/dags -------------------

4熱度

1回答

氣流定製jinja2過濾器

我想爲我的氣流jinja2模板添加自定義過濾器。因爲我在S3中的文件夾都喜歡 /年/月/日/ ，我的目的是在變量使用yesterday_ds畫面是這樣的： s3：//logs.web.com/AWSLogs/ {{yesterday_ds | get_year}}/{{yesterday_ds | get_month}}/{{yesterday_ds | get_day}}/ 我已經看到了一個P

3熱度

1回答

AssertionError：內部：沒有指定默認項目

氣流新手。嘗試運行sql並將結果存儲在BigQuery表中。獲取跟隨錯誤。不知道在哪裏設置default_rpoject_id。請幫幫我。錯誤： Traceback (most recent call last): File "/usr/local/bin/airflow", line 28, in <module> args.func(args) File "

1熱度

2回答

氣流：如何從PostgreOperator推送xcom值？

我正在使用Airflow 1.8.1，我想推送來自PostgreOperator的SQL請求的結果。這是我的任務： check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, d

0熱度

2回答

氣流返回「回填完成」而不運行任務

我正在運行氣流並嘗試迭代我們從命令行構建的某個任務。運行氣流網絡服務器時，一切都按預期工作。但是，當我運行airflow backfill dag task '2017-08-12'，氣流的回報： [2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using executor LocalExecutor [2017-08-15 02:52:56

2熱度

2回答

安排氣流中的DAG每5分鐘運行一次

我在氣流中有一個DAG，現在它每小時運行一次（@hourly）。每5分鐘可以運行一次嗎？

2熱度

1回答

Airflow沒有爲airflow_home目錄中的目錄命名的模塊

我正在使用virtualenv。我正在嘗試使用DAG文件夾內的軟件包。 airflow_home目錄的當前狀態是： airflow_home/airflow.cfg airflow_home/airflow.db airflow_home/dags/__init__.py airflow_home/dags/hello_world.py airflow_home/dags/support/

1熱度

2回答

保證，一些運營商將在同一氣流工人執行

我有一個DAG其下載從雲存儲csv文件通過https 上傳CSV文件到第三方我執行的氣流集羣默認使用CeleryExecutor，所以我擔心在某些時候，當我擴大工人數量時，這些任務可能會在不同的工作人員上執行。例如。工人A下載，工人B嘗試上傳，但沒有找到該文件（因爲它在工作者A上）是否有可能以某種方式保證下載和上載操作員將在相同的氣流下執行工人？

10熱度

2回答

氣流任務陷入「排隊」狀態，永遠不會運行

我正在使用Airflow v1.8.1並在kubernetes上運行所有組件（worker，web，flower，scheduler）& Docker。我用芹菜執行人與Redis的，我的任務是看起來像： (start) -> (do_work_for_product1) ├ -> (do_work_for_product2) ├ -> (do_work_for_product

0熱度

1回答

氣流繼續閱讀dags的默認配置

我很新的apache氣流，我改變了默認配置從新的dag文件夾讀取，但是當我啓動調度程序時，它不斷從/ home/airflow讀取dag。這裏是我的配置： airflow_home = /home/airflow dags_folder = /my_new_path/airflow_dags 等我保留了默認配置。