apache-airflow

    0熱度

    1回答

    在Debian 8安裝我安裝了Apache氣流1.9從GitHub感謝這個命令行的debian 9:pip install git+https://github.com/apache/[email protected] 不過,我有造成Fernet的airflow initdb過程中發生錯誤,你知道如何解決這個問題? INFO [alembic.runtime.migration] Running

    0熱度

    1回答

    目標非常簡單:我需要爲手動任務創建一個DAG,該任務不應該定期運行,而只能在管理員按下「運行」按鈕時執行。理想情況下,無需切換「取消暫停」和「暫停」DAG(您知道某人肯定會忘記暫停)。 到目前爲止,我只有schedule_interval="0 0 30 2 *"(2月30日希望永遠不會發生),但必須有更好的方法! 有嗎?

    2熱度

    2回答

    我似乎無法得到這個工作。 我想每天發送一個給定的文件,其名稱類似於'file _ {{ds_nodash}}。csv'。 問題是,我似乎無法將此名稱添加爲文件名,因爲它似乎無法使用。在電子郵件或主題的文本完美,而不是名稱。 這裏是DAG作爲一個例子: local_file = 'file-{{ds_nodash}}.csv' send_stats_csv = EmailOperator(

    1熱度

    2回答

    目前,我們正在使用Apache-Camel爲ETL,那就是,我們每天服用/來自不同數據庫的每週/每月的出口,執行所需的操作,然後某處公佈結果供其他數據庫攝取。 最近我看到一個Apache-Airflow談話,在我看來,它可以做的工作,駱駝是隻是做容易。更容易我的意思是它看起來會更自我記錄,因此更容易維護。我對麼?而爲什麼兩者之間沒有比較,就像Camel and Mule之間有比較?

    0熱度

    1回答

    我正在學習Airflow並有一個簡單的問題。下面是我的DAG稱爲dog_retriever import airflow from airflow import DAG from airflow.operators.http_operator import SimpleHttpOperator from airflow.operators.sensors import HttpSensor

    1熱度

    1回答

    我在XCOM中有一個巨大的json文件,稍後我不需要一旦dag執行完成,但我仍然可以在UI中看到Xcom對象數據,一旦DAG運行完成後,是否有任何方式以編程方式刪除XCOM? 謝謝

    0熱度

    1回答

    我正在使用Airflow連接來從RDS SQL實例中提取和處理數據。問題是該進程正在生成超過21個連接(儘管我的併發性在cfg文件中設置爲4)並且RAM超載。根據我如何設置流程,我不希望每次連接超過6-8個連接。有沒有一個好的cfg文件設置或管理面板選項,可以讓我控制這種行爲?我試過更新sql_alchemy_pool_recycle但這並沒有解決問題。 你可以看到系統性能開始坦克的GANT圖表作

    0熱度

    1回答

    我有一個非常簡單的DAG有兩個任務,如下列: default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

    0熱度

    1回答

    我真的試圖在下列方式使用泊塢窗CLI命令添加變量: docker exec -u root airflowdags_webserver_1 bash -c "airflow variables --set my_var '{\"test\": \"test\'2\"}'" 但是,得到以下錯誤: bash: -c: line 0: unexpected EOF while looking for

    0熱度

    1回答

    氣流文件,它被提及如下 「Subdags必須有一個時間表,並啓用 即使subdags被觸發作爲一個更大的DAG的一部分,如果他們的日程安排設置爲無或「@一旦「,這個subdag運營商就會成功而不做任何事情」。 但不清楚,我們如何啓用子標籤。有什麼辦法來啓用Subdag嗎?