airflow

    0熱度

    1回答

    我想開始我的氣流的網絡服務器,但它說,它是無法識別的參數 $ airflow webserver [2017-05-25 15:06:44,682] {__init__.py:36} INFO - Using executor CeleryExecutor ____________ _____________ ____ |__()_________ __/__ /________

    0熱度

    1回答

    我評估氣流是否適合我的需求(生物信息學)運行氣流DAG。我在Airflow模型中遇到了一些困難。具體如下: DAG文件在哪裏實際執行?它的背景是什麼?如何將輸入數據傳遞到DAG定義文件? (例如,我想OT創建目錄中的每個文件的任務。) 如何在特設的基礎上執行DAG?如何傳遞DAG構造的參數? 這裏是我想執行什麼樣的例子。假設我剛收到一些數據作爲包含20個文件的目錄,這些文件在某些​​共享文件系統中

    0熱度

    1回答

    我意外地安排了一個簡單的DAG作業,每5分鐘運行一次。 我輸入下面的命令: airflow backfill jobs -s 2017-05-01 -e 2017-06-07 我可以看到氣流的Webserver GUI,它推出了許多回填作業。 我試圖將正在運行的作業標記爲「成功」,但它返回錯誤。 我想每天運行而不是每5分鐘運行一次。 我該如何阻止錯誤的工作?

    0熱度

    1回答

    我建立了如下的dags。我推出了這個DAG airflow backfill jobs -s 2017-05-01 -e 2017-06-07 儘管工作成功,但我沒有收到任何電子郵件。 我想要做其他事情來接收郵件嗎? 或者我應該以不同的方式運行dag? DAG如下: default_args = { 'owner': 'me', 'depends_on_past': Fal

    1熱度

    2回答

    我需要安排在星期四下午7點和星期五的工作,我需要安排在晚上11點。我使用的氣流和需要像 0 19 * *週一至週四 任何建議,歡迎cron的標籤符號。 謝謝 問候, CJ

    0熱度

    1回答

    我有一個簡單的氣流工作流程,由兩個任務組成。其中一個會下載包含庫存數據的csv文件。另一個提取最大股價並將數據寫入另一個文件。 如果我運行第一個任務,然後第二個一切工作正常,而不是如果執行:airflow運行stocks_d get_max_share它無法滿足依賴項。 import csv from datetime import datetime from datetime import

    6熱度

    1回答

    我有一個長時間運行的步驟(通常大約2小時,但它根據運行的單元而變化)的氣流中的SubDAG。在1.7.1.3下,這一步將始終導致AIRFLOW-736,並且當所有步驟都成功時,SubDAG將在'運行'狀態中停頓。我們可以解決這個問題,因爲我們沒有在SubDAG之後執行步驟,只需在數據庫中手動將SubDagOperator標記爲成功(而不是運行)即可。 下張樹庭我們的調度和工人 通過畫中畫,卸載氣流

    1熱度

    1回答

    基本上,我想運行一個月的回填命令。但是有一些任務取決於前一天的數據。據我所知,這個命令每天都在同一時間運行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有沒有辦法使回填命令一次運行一天(按順序)? 乾杯。

    3熱度

    1回答

    有沒有人對FileSensor有任何想法?我在研究本地目錄中的感應文件時遇到了這個問題。代碼如下: task= FileSensor( task_id="senseFile" filepath="etc/hosts", fs_conn_id='fs_local', _hook=self.hook, dag=self.dag,) 我也把我的conn

    2熱度

    3回答

    我有,我們將部署到多個不同的氣流情況,並在我們的airflow.cfg我們dags_are_paused_at_creation = True但對於這個特定的DAG我們希望它被打開,而無需通過點擊UI人工手動做一個DAG。有沒有辦法做到這一點編程?