airflow

1熱度

1回答

原始SQL的氣流

我寧願使用原始的SQL（主要是選擇+插入），而不是O/R映射器，因爲這將是難以進行查詢。（RDBMS的是postgres9.4）所以，問題是我可以使用在氣流邏輯部分原始SQL？

7熱度

2回答

着陸時間在氣流中的含義是什麼？

在氣流的Web控制檯上的DAG視圖中有一段名爲「着陸時間」的部分。 An example screen shot taken from airbnb's blog: 但是這是什麼意思？現在文檔或存儲庫中沒有定義（試圖多次搜索）。

0熱度

1回答

Airflow DAG未收聽@monthly schedule_interval

我正在嘗試安排每月在氣流中的DAG。即使dag.schedule_interval = '@monthly'（每條指令在這裏http://airflow.readthedocs.org/en/latest/scheduler.html#dag-runs）它仍在每天運行。我也設置了dag_args['start_date'] = datetime(2016, 2, 1, 20, 0)和starts_

5熱度

3回答

配置氣流與CeleryExecutor

我嘗試配置的Airbnb氣流這樣使用CeleryExecutor工作：我在airflow.cfg改變了executer從SequentialExecutor到CeleryExecutor： # The executor class that airflow should use. Choices include # SequentialExecutor, LocalExecutor, Cele

5熱度

2回答

當使用Airflow的PostgresOperator和Jinja模板和SQL時TemplateNotFound

當試圖通過PostgresOperator使用Airflow的模板功能（通過Jinja2）時，我一直無法呈現事物。我很可能做錯了什麼，但是我很遺憾問題是什麼。下面就來重現TemplateNotFound錯誤我已經得到一個例子： airflow.cfg airflow_home = /home/gregreda/airflow dags_folder = /home/gregreda/airflo

8熱度

6回答

如何安裝氣流？

我似乎在做某事。錯誤。 https://pythonhosted.org/airflow/start.html $ export AIRFLOW_HOME=~/airflow $ pip install airflow Requirement already satisfied $ airflow initdb airflow: Command not found 蟒蛇--versio

1熱度

1回答

如何在隨機時間啓動DAG

我有一個由氣流調度程序觸發的DAG，並在每天午夜過後1分鐘運行。我想改變每天的開始時間是動態的，有一天在凌晨1:00開始，第二天在00:16等等。氣流中是否有配置來做到這一點？如果不是我能做什麼？

1熱度

2回答

如何從不同的開始時間部署修改後的氣流數據？

可以說，調度程序停了5個小時，我每小時安排了兩次dag。現在，當我重新啓動調度程序時，我不想讓所有錯過的實例迴流，而是希望它從當前小時繼續。

0熱度

1回答

Airflow中的作業狀態

我已經創建了一個包含3個任務的DAG。其中一項任務在氣流UI中失敗，因此作業顯示爲失敗。但是當我回填以前的任務時。他們現在成功了，但作業的狀態仍然保持不變，即使單個任務成功，它仍然顯示失敗。我錯過了什麼嗎？

1熱度

1回答

調度AirfFlow DAG工作

我已經下面寫的風量DAG - default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2016, 7, 5), 'email': ['[email protected]'], 'email_on_failure': False,