airflow

0熱度

1回答

帶OpenLDAP的氣流 - LDAPAttributeError（'無效屬性類型'+ attribute_name_to_check）LDAPAttributeError：無效屬性類型memberOf

嘗試使用本地OpenLDAP驗證Airflow的localsetup。但是當試圖從Web服務器得到以下錯誤登錄： File "/usr/local/lib/python2.7/dist-packages/ldap3/core/connection.py", line 751, in search raise LDAPAttributeError('invalid attribute type '

4熱度

1回答

Airflow default on_failure_callback

在我的DAG文件中，我定義了一個on_failure_callback（）函數來發布失敗時的Slack。它工作得很好，如果我指定我的DAG每個運營商：on_failure_callback = on_failure_callback（）有沒有一種方法（例如，或通過我的DAG對象通過default_args）自動分派給我的所有運營商？

1熱度

2回答

如何動態迭代上游任務的輸出以在氣流中創建並行任務？

考慮以下DAG示例，其中第一個任務get_id_creds從數據庫中提取憑證列表。此操作告訴我數據庫中的哪些用戶能夠運行進一步的數據預處理，並將這些ID寫入文件/tmp/ids.txt。然後，我將這些ID掃描到我的DAG中，並使用它們生成可並行運行的upload_transaction任務列表。我的問題是：有沒有更習慣性地使用氣流做到這一點的正確動態方法？我在這裏感到笨拙和脆弱。我如何直接將一個

0熱度

1回答

仍然無法與Airflow並行運行所有任務

我的任務設置與this question一樣。基於它看起來像依賴的UI進行了明確定義：我已經測試了單獨的任務如下：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25。這很好，更新與該用戶相對應的目標數據庫條目。然而，當我嘗試運行完整的任務時，它似乎正在被掛起。 python3 dash_dag.py基本上會導致Web服務器上出現以

0熱度

1回答

氣流DAG觸發

我們最近試圖採用Airflow作爲我們的「數據工作流程」引擎，儘管我已經將大部分內容弄清楚了，但我仍然處於調度程序如何計算何時觸發DAG的灰色地帶。在這個簡單的DAG請看： from airflow import DAG from datetime import datetime from airflow.operators.bash_operator import BashOperator

0熱度

2回答

在Airflow中生成多個任務時反向上游/下游關係

與此問題相關的原始代碼可以在here找到。我對兩個bitshift運算符都感到困惑，並且set_upstream/set_downstream方法在我在DAG中定義的任務循環內工作。當DAG的主執行迴路被配置如下： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(id_worker(uid))

2熱度

2回答

氣流快速啓動不起作用

嗨我剛開始使用氣流，但我無法設法在快速啓動運行中完成任務：airflow run example_bash_operator runme_0 2015-01-01。我剛剛用python 2.7.6創建了一個conda環境，並安裝了airflow到pip，它安裝了airflow==1.8.0。然後我運行這裏列出的命令https://airflow.incubator.apache.org/star

0熱度

1回答

氣流：無法連接到（'0.0.0.0'，8080）

我在Ubuntu 16.04上，我用pip安裝了Airflow。下一步 airflow initdb [2017-07-29 12:20:23,483] {__init__.py:57} INFO - Using executor SequentialExecutor DB: sqlite:////home/milenko/airflow/airflow.db [2017-07-29 12:

11熱度

2回答

氣流Python單元測試？

我想爲我們的DAG添加一些單元測試，但找不到任何。是否有DAG的單元測試框架？有一個端到端的測試框架存在，但我想它已經死了：https://issues.apache.org/jira/browse/AIRFLOW-79。請建議，謝謝！

0熱度

2回答

爲什麼氣流返回兩個不同的DAG列表？

如果我運行命令airflow list_dags它將返回一個DAG列表。但是，該DAG列表與我在DAG選項卡下的Web界面中看到的dag列表不同。 airflow list_dags命令僅返回教程DAG而不返回airflow/dags目錄中的DAG。爲什麼氣流給我兩個不同的DAG列表？我正在運行Airflow 1.8.1。