airflow

6熱度

2回答

如何在高可用性中部署apache airflow（正式名稱爲airbnb的氣流）調度程序？我不是在詢問應該明確部署在高可用性配置中的後端DB或RabbitMQ。我的主要焦點是調度程序 - 有什麼特別的需要做？

0熱度

1回答

我試圖遵循這裏的教程：http://pythonhosted.org/airflow/tutorial.html 但我使用的是Mac，所以我必須通過brew安裝Python，然後附帶pip，我用它來安裝airflow。然而，這並不能完全奏效，於是我試圖創建一個virtualenv爲此我試圖安裝airflow和它仍然給我這個ImportError: No module named mako.util

2熱度

3回答

如何使用AirFlow運行Python任務列表？

我有一系列Python文件裏面有一系列Python任務：file1.py，..... 放在一個文件夾中。我讀了Airflow文檔，沒有看到如何指定DAG中python文件的文件夾和文件名？我想執行那些python文件（不是通過Python運算符的Python函數）。任務1：執行file1.py（有一些進口包）任務2：執行file2.py（與其他一些進口包）這將是有益的。謝謝，問候

5熱度

2回答

airflow trigger_dag execution_date是第二天，爲什麼？

最近我已經測試氣流這麼多的運行airflow trigger_dag <my-dag>時有一個問題execution_date。我已經瞭解到，execution_date是不是我們認爲在首次從here：氣流被開發作爲ETL需求的解決方案。在ETL世界中，通常會彙總數據。所以，如果我想總結數據 2016年2月19日，我將在2016年2月20日午夜GMT，這將所有數據之後立即爲2016年2月1

0熱度

1回答

HttpIO - 在Dataflow變換中使用外部資源

我在嘗試使用Python Dataflow SDK從REST端點並行讀取JSON數據來編寫自定義Source。 E.g.對於一組給定的ID的，我需要從檢索數據： https://foo.com/api/results/1 https://foo.com/api/results/2 ... https://foo.com/api/results/{maxID} 我需要的是監視&速率限制的關鍵特徵：即

0熱度

2回答

氣流數據庫會話不提供任何環境可變

作爲一個氣流和Python新手，甚至不知道我是否問正確的問題，但無論如何要問。我在CentOS系統上配置了氣流。使用遠程MySql實例作爲後端。在我的代碼，需要得到一些變量，代碼如下所示： import os from airflow.models import Variable print(os.environ['SHELL']) local_env['SHELL'] = Variab

4熱度

2回答

使用Airflow UI執行整個DAG

我很新手氣流，我們有一個DAG，有3個任務。目前我們正在使用Celery Executor，因爲我們需要靈活性來運行單個任務。我們不想安排工作流程，現在它將成爲手動觸發。有什麼方法可以使用Airflow UI來執行整個工作流程（與我們在oozie中一樣）？一次執行一個任務很痛苦。

0熱度

1回答

Airflow無法一次執行所有依賴任務UI

我的DAG有3個任務，我們正在使用Celery執行程序，因爲我們必須從UI中觸發單個任務。我們能夠從UI執行單個任務。目前我們面臨的問題是，儘管我們已經設置了任務依賴關係，但我們無法一次性從UI執行DAG的所有步驟。我們能夠從命令行執行完整的DAG，但有什麼方法可以通過UI執行相同的操作嗎？

0熱度

1回答

氣流：1.7：DAG不在GUI中更新

我有我的dag文件test1.py定義在/opt/airflow/dags目錄下。最初，該文件只有一個任務，test1_task01。在我的GUI中，只有一個任務才能正確顯示dag。然而，當我添加一個任務，我的DAG，看起來像： DAG - test1_task01 <- test2_task01 (representative - not airflow syntax) 我沒有看到更新的DA

0熱度

1回答

BaseOperator.xcom_pull中的上下文參數是什麼

我正在閱讀API Docs，並且不清楚上下文參數是否爲BaseOperator.xcom_pull。我認爲這將是dag.default_args，但我接收KeyError: 'ti' 我先前的任務中以下所述推送（）例子here進行的xcom_push。