airflow

4熱度

4回答

我想使用Airflow執行一個簡單的任務python。 from __future__ import print_function from airflow.operators.python_operator import PythonOperator from airflow.models import DAG from datetime import datetime, timedelt

2熱度

2回答

的Airbnb氣流調度保持即使計劃每小時

我使用Airbnb的氣流和我創建如下一個簡單的任務，正在運行的任務。但是，即使我將時間間隔設置爲小時或任何其他時間間隔，調度程序仍會繼續運行該任務。我注意到另一件事是，如果我設置計劃間隔是「@once」，它永遠不會運行DAG。我使用遵循慣例這裏http://airflow.readthedocs.org/en/latest/scheduler.html#dag-runs 簡單的DAG IM。 "

1熱度

1回答

氣流回填只有13個實例以默認設置運行

我正在試驗airbnb airflow。雖然我試圖用60分鐘timedelta的「回填」選項運行一天，但只執行13個實例。其餘顯示爲等待並且從未執行。

2熱度

2回答

針對構建基於hadoop的數據管道的調度工具的建議

在Apache Oozie，Spotify/Luigi和airbnb/airflow之間，他們每個人有什麼優點和缺點？我過去曾經使用oozie和airflow來構建使用PIG和Hive的數據攝入管道。目前，我正在構建一個查看日誌並提取有用事件並將其置於紅移的管道。我發現氣流更容易使用/測試/設置。它有一個更酷的用戶界面，並允許用戶從用戶界面本身執行操作，這與Oozie不同。歡迎任何有關Luig

8熱度

2回答

氣流不調度正確的Python

代碼： Python版本2.7.x和氣流1.5.1版我DAG的腳本是這樣的 from airflow import DAG from airflow.operators import BashOperator from datetime import datetime, timedelta default_args = { 'owner': 'Vignesh', 'depends_

0熱度

1回答

如何使用python設置windows開發環境的氣流

在工作中，我們正在通過AirBnB完成Airflow的PoC。標準操作實踐是將開發（即DAG創建和Python腳本等）與運行時環境分離。即我們不允許在服務器上直接編寫腳本（不管怎麼說）。因此，我在Windows中配置了intelliJ與Python一起工作（如預期的那樣）（我們不允許有unix工作站），但是我找不到在Windows中安裝airflow的方法。我是Python新手，擁有Java開發背

3熱度

1回答

配置SnakeBite HDFS客戶端以使用高可用性模式

我使用snakebite庫從我的airflow dags訪問HDFS。我的HDFS集羣已升級到高可用性模式。這意味着當namenode不是活動節點時，配置爲僅指向一個名稱節點的客戶端將失敗。我可以使用什麼策略使高可用性模式高度可用？我可以配置snakebite客戶端故障轉移到另一個節點嗎？我可以使用某種負載均衡器將流量引導到正確的名稱節點嗎？