apache-airflow

1熱度

2回答

考慮以下DAG示例，其中第一個任務get_id_creds從數據庫中提取憑證列表。此操作告訴我數據庫中的哪些用戶能夠運行進一步的數據預處理，並將這些ID寫入文件/tmp/ids.txt。然後，我將這些ID掃描到我的DAG中，並使用它們生成可並行運行的upload_transaction任務列表。我的問題是：有沒有更習慣性地使用氣流做到這一點的正確動態方法？我在這裏感到笨拙和脆弱。我如何直接將一個

0熱度

1回答

仍然無法與Airflow並行運行所有任務

我的任務設置與this question一樣。基於它看起來像依賴的UI進行了明確定義：我已經測試了單獨的任務如下：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25。這很好，更新與該用戶相對應的目標數據庫條目。然而，當我嘗試運行完整的任務時，它似乎正在被掛起。 python3 dash_dag.py基本上會導致Web服務器上出現以

0熱度

2回答

在Airflow中生成多個任務時反向上游/下游關係

與此問題相關的原始代碼可以在here找到。我對兩個bitshift運算符都感到困惑，並且set_upstream/set_downstream方法在我在DAG中定義的任務循環內工作。當DAG的主執行迴路被配置如下： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(id_worker(uid))

3熱度

1回答

氣流運行從UI，KeyError異常任務：沒有這樣的運輸

與芹菜氣流CFG設置爲： broker_url = 'amqp://guest:[email protected]_server:8080' celery_result_backend = db+postgresql://developer:[email protected]_server:5432/db_name 的airflow webserver運行正常，但在運行從氣流UI任務我得到

7熱度

3回答

氣流：日誌文件不是本地的，不支持遠程日誌位置

我沒能看到連接到從氣流中UI的任務日誌：在airflow.cfg文件登錄相關的設置： remote_base_log_folder = base_log_folder = /home/my_projects/ksaprice_project/airflow/logs worker_log_server_port = 8793 child_process_log_directory = /home

5熱度

1回答

氣流工人不聽默認我已經配置了RabbitMQ的經紀人，服務氣流的RabbitMQ隊列

： airflow worker airflow scheduler airflow webserver 都沒有任何錯誤運行。調度正在推動的任務就default RabbitMQ的執行隊列：即使我嘗試airflow worker -q=default - 工人仍沒有收到運行的任務。我airflow.cfg設置文件： [core] # The home folder for airflo

0熱度

1回答

部署如何與Airflow協同工作？

我正在使用芹菜執行器和此dockerfile的設置。我正在將我的dag部署到/usr/local/airflow/dags目錄到調度程序的容器中。我能夠用命令來運行我的DAG： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e 2016-02-01 我DAG包含一個簡單的bash操作： Bas

2熱度

1回答

我如何觸發氣流-dag使用TriggerDagRunOperator

我發現下面的鏈接： https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand 這的確說明了如何使用TriggerDagRunOperator來執行不同的氣流DAG。文檔使用了Airflow自己的示例dags，但我很難理解那些因爲他們沒有使用任何傳感器。有人可以解釋如何使用Trigge

4熱度

1回答

氣流定製jinja2過濾器

我想爲我的氣流jinja2模板添加自定義過濾器。因爲我在S3中的文件夾都喜歡 /年/月/日/ ，我的目的是在變量使用yesterday_ds畫面是這樣的： s3：//logs.web.com/AWSLogs/ {{yesterday_ds | get_year}}/{{yesterday_ds | get_month}}/{{yesterday_ds | get_day}}/ 我已經看到了一個P

3熱度

1回答

AssertionError：內部：沒有指定默認項目

氣流新手。嘗試運行sql並將結果存儲在BigQuery表中。獲取跟隨錯誤。不知道在哪裏設置default_rpoject_id。請幫幫我。錯誤： Traceback (most recent call last): File "/usr/local/bin/airflow", line 28, in <module> args.func(args) File "