airflow

5熱度

1回答

我想在本地系統上設置Airflow。我已經使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然後我就初始化氣流DB通過 airflow initdb 然後我用開始氣流Web服務器： airflow webserver -p 8080 現在，當我打開本地主機：8080，管理員面板顯示來自的示例dag /usr/local/lib/p

3熱度

3回答

氣流：已排隊但未運行的任務

我是新來氣流並嘗試設置氣流來運行ETL管道。我能夠安裝氣流 Postgres的芹菜的RabbitMQ 我能夠試運行turtorial DAG。當我嘗試安排這些作業時，調度程序能夠將其選中並將我可以在UI上看到的作業排隊，但任務未運行。有人能幫我解決這個問題嗎？我相信我錯過了這裏最基本的氣流概念。下面是airflow.cfg 這裏是我的配置文件： [core] airflow_home =

7熱度

3回答

刪除氣流任務日誌

我跑5 DAG的已經產生的base_log_folder 6GB左右，總的日誌數據在個月。我剛剛添加了remote_base_log_folder，但它似乎並不排除登錄到base_log_folder。反正是有隻在遠程存儲自動刪除舊的日誌文件，旋轉它們或強制氣流無法登錄磁盤（base_log_folder）？

1熱度

1回答

氣流任務沒有被觸發

我正在調度dag並顯示處於運行狀態，但任務沒有被觸發.Airflow調度程序和Web服務器已啓動並正在運行。我在界面上將Dag切換爲ON。我仍然無法解決問題。我正在使用CeleryExecutor嘗試更改爲SequentialExecutor，但沒有運氣。

1熱度

2回答

沒有網絡服務器刷新dag重啓apache airflow

有什麼辦法可以在不重啓服務器的情況下實現作業嗎？

2熱度

1回答

與AWS開發機器訪問管理UI的氣流集成

我正嘗試在aws上的開發機器上使用Airflow進行工作流管理。我有多個虛擬環境設置並安裝了氣流。我在我的nginx的conf監聽端口8080： listen private.ip:8080; 我已經讓我的AWS機器上的8080端口入站連接。我無法從我的公共IP /網站地址訪問我的airflow控制檯以及管理頁面。

1熱度

2回答

Airflow <--> Greenplum

是否可以建立從Airflow到Greenplum的連接？請記住，Greenplum基於PostgreSQL，是否可以建立到Greenplum主服務器的連接？

2熱度

1回答

使用Airflow運行.EXE和Powershell任務

我們的系統基本上只是運行C＃和Powershell應用程序以及MS SQL Server的Windows服務器。我們有一個內部的WorkflowManagement解決方案，能夠運行執行EXE/BAT/PS1的任務，甚至可以調用DLL函數。現在我正在評估Apache Airflow是否是更好的解決方案。我迄今爲止的天真計劃是在Linux機器上運行氣流調度程序，然後讓消費者在Windows機器上運

8熱度

1回答

如何停止/終止UI中的氣流任務

如何在Airflow UI上停止/終止正在運行的任務？我正在使用LocalExecutor。即使我使用CeleryExecutor，我該如何殺死/停止正在運行的任務？

1熱度

1回答

訪問通過CLI傳遞給Airflow的配置參數

我試圖在觸發dag運行時將下列配置參數傳遞給Airflow CLI。以下是我正在使用的trigger_dag命令。 airflow trigger_dag -c '{"account_list":"[1,2,3,4,5]", "start_date":"2016-04-25"}' insights_assembly_9900 我的問題是，我如何訪問在dag運行中的運算符內部傳遞的con參數。