airflow

3熱度

1回答

安排Airflow Dag的正確方法是什麼，以便它只能在工作日運行？我試過在start_date和schedule_interval表達式中包括小時偏移，但它仍然沒有在所需的時間開始。（我希望它從1月28日凌晨1點開始，在週一凌晨1點運行，並在當地時間週二到週六運行。） default_args = { 'owner': 'me', 'depends_on_past': Fa

0熱度

1回答

下一個作業實例運行之前，我可以調試此實例

當我在Airflow上開發並打開我的DAG時，它會失敗，如步驟6，並且步驟7-9不會啓動。但在我調試問題之前，下一個實例（我將start_date放入過去）將啓動並一直運行到第5步，並在第6步失敗，完全搞亂了我的工作流程。這種行爲是預期的，還是可能會被關閉，以致下一個實例在這個實例到處都是綠色時才啓動？

1熱度

1回答

Apache Airflow - 自定義日誌格式

是否可以自定義Airflow用於日誌記錄的格式？我嘗試添加在$ AIRFLOW_HOME/airflow.cfg一個LOG_FORMAT變量，但它似乎並沒有生效 LOG_FORMAT = "%(asctime)s logLevel=%(levelname)s logger=%(name)s - %(message)s"

6熱度

1回答

TemplateNotFound錯誤運行時，簡單的氣流BashOperator

我試着寫我們的第一個氣流DAG，並且我得到以下錯誤，當我嘗試列出使用命令airflow list_tasks orderwarehouse的任務： Traceback (most recent call last): File "/usr/local/lib/python2.7/site-packages/airflow/models.py", line 2038, in resolve

1熱度

3回答

如何在不需要重啓氣流網絡服務器的情況下更新氣流中的python函數

我正在學習使用氣流來調度一些python ETL過程。每次我更新我的Python代碼時，我必須重新啓動Web服務器，並在代碼更改被氣流拾取之前重命名DAG。反正有沒有，特別是當我每次進行修改時都不需要重命名我的DAG？

6熱度

3回答

阿帕奇氣流：控制記錄[禁用/調整記錄級別]

我使用安裝氣流1.7.1.3使用PIP 我想限制記錄到錯誤工作流電平是由調度器執行。在settings.py文件中設置日誌文件位置之外找不到任何內容。而且網上的資源使我這個谷歌小組討論here但沒有太多的信息在這裏以及不知道如何控制日誌氣流？

0熱度

2回答

Airbnb Airflow安裝錯誤

我試圖在Ubuntu 16.04中安裝Airflow。我得到一個錯誤，當我嘗試： PIP安裝氣流以下是錯誤： Exception: Traceback (most recent call last): File "/home/ashim/.local/lib/python2.7/site-packages/pip/basecommand.py", line 215, in main

0熱度

1回答

氣流：一個subdag可以在另一個subdag內運行嗎？

我有一個subdag作爲主DAG的節點之一。工作流程正常工作。我試圖通過在subdag中包含另一個subdag來增加等級。但氣流似乎變得困惑。這方面的幾個問題： 1）氣流是否支持subdag內的subdag？如果是這樣，那麼層次結構是否有限制？ 2）在subdag內使用subdag有沒有最佳做法？

2熱度

1回答

氣流：如何擴展SubDagOperator？

當我嘗試擴展airflow API中提供的SubDagOperator時，airflow webserver GUI不會將其識別爲SubDagOperator，從而禁用我放大該子標籤。如何擴展SubDagOperator，同時保留作爲子標籤放大的能力？我錯過了什麼嗎？

4熱度

3回答

BashOperator不運行bash文件apache airflow

我剛開始使用apache airflow。我試圖從氣流運行test.sh文件，但它不工作。以下是我的代碼，文件名是test.py import os from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta