刪除氣流任務日誌

Question

我跑5 DAG的已經產生的base_log_folder 6GB左右，總的日誌數據在個月。我剛剛添加了remote_base_log_folder，但它似乎並不排除登錄到base_log_folder。

反正是有隻在遠程存儲自動刪除舊的日誌文件，旋轉它們或強制氣流無法登錄磁盤（base_log_folder）？

Answer 1

我不認爲有一個旋轉機構，但你可以將它們存儲在S3或谷歌雲存儲作爲在這裏描述：https://airflow.incubator.apache.org/configuration.html#logs

Answer 2

氣流維護者不認爲截斷日誌是氣流核心邏輯的一部分，看到this，然後在這個問題上，維護人員建議改變LOG_LEVEL以避免太多的日誌數據。

而在this PR中，我們可以學習如何更改airflow.cfg中的日誌級別。

祝你好運。

Answer 3

請參閱https://github.com/teamclairvoyant/airflow-maintenance-dags

這個插件有DAG的，可以殺死暫停任務和日誌清理。 你可以抓住這些概念，並可以想出一個新的DAG，可以按照你的要求進行清理。