airflow

3熱度

1回答

Apache Airflow - mysql'指定的密鑰太長;最大密鑰長度爲1000個字節

試圖建立氣流MySQL和而氣流嘗試過程中設置主鍵‘氣流initdb的’ File "/usr/lib/pymodules/python2.7/MySQLdb/cursors.py", line 166, in execute self.errorhandler(self, exc, value) File "/usr/lib/pymodules/python2.7/MySQLdb/connec

3熱度

1回答

Airflow BashOperator收集返回代碼

因爲我剛剛開始使用Airflow，因此忍受着我，而我正在嘗試做的是從BashOperator任務收集返回代碼並將其保存到本地變量，然後基於返回代碼分支出另一個任務。我遇到的問題是弄清楚如何讓BashOperator返回一些東西。以下是我的代碼段： dag = DAG(dag_id='dag_1', default_args=default_args, schedule_in

5熱度

3回答

基於Webrequest的基於氣流的作業

我想知道在通過HTTP獲取請求時是否可以執行氣流任務。我對Airflow的調度部分不感興趣。我只是想用它來替代芹菜。所以一個示例操作就是這樣的。用戶提交請求某些報表的形式。後端接收到該請求並向用戶發送該請求已收到的通知。後端然後使用Airflow安排作業立即運行。氣流然後執行一系列與DAG相關的任務。例如，首先從Redshift中提取數據，從MySQL中提取數據，對兩個結果集進行一些操作

8熱度

2回答

使用所有系統資源的Airbnb Airflow

我們已經使用LocalExecutor爲我們的ETL設置了Airbnb/Apache Airflow，而且隨着我們開始構建更復雜的DAG，我們注意到Airflow已經開始使用令人難以置信的系統資源。這令我們感到意外，因爲我們主要使用Airflow來編排其他服務器上發生的任務，所以Airflow DAG花費大部分時間等待它們完成 - 沒有實際的執行發生在本地。最大的問題是Airflow似乎在任何時

0熱度

1回答

如何測試使用XCom的Apache Airflow任務

我試圖找出一種方法來測試DAG，其中有幾項使用XCom進行通信的任務。由於控制檯命令只允許我從DAG運行任務，有沒有辦法測試通信而無需通過UI運行DAG？謝謝

4熱度

2回答

氣流安裝全成，但不能運行它

C：\ Python27 \腳本>氣流initdb的「氣流」不被識別爲內部或外部的命令，運行的程序或批處理文件。 C：\ Python27 \ Scripts> airflow init 'airflow'不被識別爲內部或外部命令，可操作程序或批處理文件。 C：\ Python27 \腳本>氣流的網絡服務器8080 -p '氣流' 未被識別爲內部或外部的命令，運行的程序或批處理文件。我試

1熱度

1回答

氣流調度程序標記刪除的DAG爲活動

我對DAG進程做了一些更改，重命名並運行了airflow webserver和scheduler。新的和舊的DAG顯示。當舊的DAG處於活動狀態時，新的DAG處於非活動狀態。舊DAG顯示消息： This DAG isn't available in the web server's DAG BAG object. It shows up in this list because the sched

3熱度

1回答

如果傳感器數量大於併發性，氣流芹菜工作人員將被阻塞？

比方說，我把芹菜併發到ñ，但我有米（米>ñ）ExternalTaskSensor DAG中，它將檢查名爲do_sth另一DAG，這些ExternalTaskSensor將消耗所有的芹菜工人，這樣事實上沒有人會工作。但我不能設置併發性太高（如2 *米），因爲DAG do_sth可以啓動太多的進程，這將導致內存不足。我很困惑什麼數字我應該設置爲芹菜併發？

5熱度

1回答

如何運行一個氣流任務及其所有依賴項？

我懷疑 airflow run dag_id task_id execution_date 將運行所有上游任務，但事實並非如此。當它看到不是所有的依賴任務都運行時，它會失敗。我怎樣才能運行一個特定的任務及其所有的依賴關係？我猜這是不可能的，因爲氣流設計的決定，但有沒有辦法解決這個問題？

1熱度

1回答

氣流不能訪問本地文件的Python代碼

我有一個文件夾結構： root_folder - file.conf - models - __init__.py - model1.py - airflow - dags - dag1.py 因此，在上述情況下dag1進口model1。這樣做時會中斷，因爲models/__init__.py加載file.conf文件。我