airflow-scheduler

0熱度

1回答

我試圖安排每天以3小時爲間隔動態運行的作業，從13:45開始到14:30結束。我的代碼如下： Test = datetime.now() current_date = datetime.now() default_args = { 'owner': 'abc', 'depends_on_past': False, 'start_date': datetime(Test.yea

0熱度

1回答

氣流DAG觸發

我們最近試圖採用Airflow作爲我們的「數據工作流程」引擎，儘管我已經將大部分內容弄清楚了，但我仍然處於調度程序如何計算何時觸發DAG的灰色地帶。在這個簡單的DAG請看： from airflow import DAG from datetime import datetime from airflow.operators.bash_operator import BashOperator

0熱度

1回答

不管下游發生什麼，氣流任務都會運行

我在一個DAG中有三個任務。任務A先運行。如果任務A成功，則任務B運行。我有任務C在任務B後運行，但它不依賴任務B或任務A成功或失敗。任務C需要不管發生在任務A和B上的情況如何。但是，它需要在任務A和B完成之後運行。有什麼想法？

7熱度

3回答

氣流：日誌文件不是本地的，不支持遠程日誌位置

我沒能看到連接到從氣流中UI的任務日誌：在airflow.cfg文件登錄相關的設置： remote_base_log_folder = base_log_folder = /home/my_projects/ksaprice_project/airflow/logs worker_log_server_port = 8793 child_process_log_directory = /home

0熱度

1回答

關於部署Apache Airflow平臺的手段

請問任何人都可以在生產服務器上分享部署Apache Airflow平臺的方式（使用順序執行程序以最簡單的獨立模式）的經驗/觀點？

0熱度

1回答

確保任務（Apache的氣流）

下一個順序執行的順序運行，我已經在那裏我指定的需要被順序運行三個任務DAG的文件（T1 - > T2 - > T3）： default_args = { 'owner': 'airflow', 'start_date': datetime(2017, 6, 14, 23 , 20), 'email_on_failure': False, 'email_on_

0熱度

1回答

部署如何與Airflow協同工作？

我正在使用芹菜執行器和此dockerfile的設置。我正在將我的dag部署到/usr/local/airflow/dags目錄到調度程序的容器中。我能夠用命令來運行我的DAG： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e 2016-02-01 我DAG包含一個簡單的bash操作： Bas

2熱度

1回答

運行期間添加到DAG中的任務未能安排

我的想法是有一個任務foo，它生成輸入列表（用戶，報告，日誌文件等），併爲輸入列表中的每個元素啓動任務。目標是利用Airflow的重試和其他邏輯，而不是重新實現它。所以，理想情況下，我應該DAG看起來是這樣的：這裏唯一的變量是生成的任務數。在完成所有這些任務之後，我想做更多的任務，因此爲每項任務啓動新的DAG似乎並不合適。這是我的代碼： default_args = { 'owne

1熱度

1回答

如何停止/殺死在守護進程模式下啓動的氣流調度程序

我是新來的氣流和意外啓動的守護程序模式下的氣流調度程序。現在，我想殺死調度器並可能重新啓動它。我試着做 sudo kill -9 <list of pids> pkill <name> 什麼都沒發生。當我運行 ps aux | grep 'airflow scheduler' 我看到這些項： user1 2907 6.0 1.0 329788 62996 ? Sl 17:37

0熱度

1回答

在相同的Airflow版本上安全地運行氣流升級b命令？

Airflow具有upgradeb命令，需要在升級Airflow版本時運行。我想知道即使版本相同也能安全運行