airflow

13熱度

2回答

當我將新的DAG python腳本放入dags文件夾時，我可以在DAG UI中查看DAG的新條目，但它未自動啓用。最重要的是，它似乎沒有正確加載。我只能點擊列表右側的刷新按鈕幾次，然後切換列表左側的開啓/關閉按鈕，以便能夠安排DAG。這些都是手動過程，因爲我需要觸發某些東西，即使DAG腳本放在了DAG文件夾中。任何人都可以幫助我嗎？我錯過了什麼嗎？或者這是氣流中的正確行爲？順便說一句，正如在帖

5熱度

3回答

氣流觸發規則「all_done」和「all_success」之間有什麼區別？

我正在處理的工作流程中的一項要求是等待某個事件在給定時間內發生，如果它沒有發生，則將該任務標記爲失敗，但仍應執行下游任務。我在想，如果「all_done」意味着所有的依賴任務都完成了，不管他們是否成功了。

0熱度

1回答

氣流：運行任務t4，即使另一個在這樣的DAG中失敗：t1 >> t2 >> t3 >> t4

我試過使用「trigger_rule」選項，但沒有成功。問題是當t2失敗（它的意圖）時，任務t3不執行，所以在t4上設置「trigger_rule ='all_done'」不起作用。

4熱度

1回答

氣流和Docker容器

我正在運行容器AWS ECS，1個調度程序，2個Web服務器和多個芹菜工作者的氣流。從我所看到的情況來看，在容器中運行它們時唯一受到影響的是Web服務器無法訪問8793上的工作端口以從工作人員檢索日誌。難道那只是在容器中運行時受到影響的東西嗎？

0熱度

1回答

命令「蟒蛇setup.py egg_info」失敗1

我一直在努力軟件通過命令來獲取氣流的套餐「PIP安裝氣流[全部]」，但它顯示的信息：命令「蟒蛇setup.py egg_info」失敗，錯誤代碼1 的錯誤顯示： File "C:\Python27\lib\site-packages\setuptools__init__.py", line 51, in findout = cls._find_packages_iter(convert_pa

2熱度

1回答

氣流Web服務器犯規開始，除了在調試模式

氣流Web服務器上啓動僅在調試模式： airflow webserver -p 8051 而且traceback我得到： [2016-12-07 03:38:48,056] {__init__.py:36} INFO - Using executor CeleryExecutor [2016-12-07 03:38:48,056] {models.py:154} INFO - Filling up

0熱度

1回答

Spring Cloud DataFlow - 運行任務後獲取執行ID

目前我正在從Spring XD轉移到Spring Cloud DataFlow和Apache Airflow。我想在Airflow中創建工作流，並使用定製的Airflow運算符通過REST-API在Spring Cloud DataFlow服務器上運行Spring Cloud任務。有可能使用： curl -X GET http://SERVER:9393/tasks/deployments/..

1熱度

2回答

沒有日期的氣流示例

我是使用airflow的新手。我試圖運行一個DAG，不想做任何調度。我想用命令行參數運行管道並覆蓋所有當前輸出。我沒有開始日期，沒有調度，沒有時間，也沒有重試邏輯，我只是想按順序運行一組函數來開始。該文檔始終包含日期。 airflow test tutorial print_date 2015-06-01 我想運行該dag，以便它執行所有功能並忽略任何以前的運行。我如何從我的dag中刪

3熱度

2回答

爲什麼建議不要在Airflow中使用動態start_date？

我讀過Airflow的關於"What's the deal with start_date?"的常見問題，但它仍然不清楚爲什麼建議不要使用動態start_date。據我瞭解，一個DAG的execution_date由所有的DAG的任務之間的最小start_date確定，以及隨後的DAG奔跑在最新execution_date + schedule_interval跑。如果我將DAG的defaul

1熱度

1回答

將新任務引入DAG時，氣流調度程序是否會重新運行先前的DAG運行？

我有一個DAG定義，動態地將任務從配置到DAG，例如： for k, v in config.iteritems(): bash_task = BashOperator(task_id='{}_task'.format(k), ...) ... 如果我增加更多的項目config，將氣流調度重複運行所有的以前的工作，否則我將不得不手動（通過運行airflow schedule