airflow

    0熱度

    1回答

    我的systemd單元文件正在工作(下圖)。 但是,airflow-monitor.pid文件暫時變爲只讀,這有時會阻止氣流啓動。我們的解決方法是刪除airflowmonitor.pid,如果發生這種情況。這與airflow.pid文件不同。 它看起來像airflow.pid是gunicorn和airflow-monitor.pid是一個python進程作爲airflow webserver。 s

    -1熱度

    1回答

    有誰知道我能從氣流中獲取當前用戶嗎?我們將後端啓用爲airflow/contrib/auth/backends/ldap_auth.py,因此用戶通過該身份驗證登錄,我想知道如何獲取當前點擊某個內容的用戶(我們作爲插件的自定義視圖)。

    2熱度

    1回答

    我試圖運行氣流DAG並需要傳遞任務的一些參數。 如何在python DAG文件中讀取命令行trigger_dag命令中作爲--conf參數傳遞的JSON字符串。 ex:airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

    -1熱度

    1回答

    我有一個Spark Streaming作業,它使用spark-submit腳本手動運行。我想安排它每天運行。 哪一個更好Azkaban,Airflow,Oozie,Crontab,Spark-jobserver,Quartz或Luigi。 任何建議表示讚賞!

    2熱度

    3回答

    我需要引用由BashOperator返回的變量。我可能做錯了,請原諒我。在我的task_archive_s3_file中,我需要從get_s3_file獲取文件名。該任務僅將{{ ti.xcom_pull(task_ids=submit_file_to_spark) }}作爲字符串打印而不是值。 如果我使用bash_command,則打印值正確。 get_s3_file = PythonOpera

    0熱度

    1回答

    我正在使用DataProcPySparkOperator執行一些操作。此運算符僅將集羣名稱作爲參數,不存在指定區域的選項,默認情況下它將集羣視爲全局區域。 對於不是全球其他地區集羣,出現以下錯誤: googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:su

    0熱度

    1回答

    我試圖找出Airflow如何在多租戶環境中工作。具體來說,要求應該如下所示: TeamA和TeamB兩個團隊正在使用單個Airflow實例。 團隊的A和B每個都有自己的服務用戶帳戶:serviceUserA和ServiceUserB他們應該運行他們的工作。 出於安全原因,團隊A不應該能夠創建在ServiceUserB下運行的作業,反之亦然。 在這一點上我不清楚需求3)是否可以用Airflow來滿足

    1熱度

    2回答

    我想觸發simplehttpoperator,像這樣: 氣流trigger_dag test_trigger --conf '{ 「名」: 「東西」}' 然後我用pythonoperator python_callable使用kwargs [ 'dag_run' 接受的參數] .conf,我想將['dag_run']。conf傳遞給simplehttpoperator,我該怎麼做?任何人都可以幫忙

    1熱度

    1回答

    我在使用LocalScheduler選項的EC2實例上使用氣流。我已經調用airflow scheduler和airflow webserver,一切似乎都運行良好。也就是說,在將cron字符串提供給schedule_interval用於「每10分鐘執行一次」'*/10 * * * *'後,該作業默認每24小時繼續執行一次。下面的代碼頭: from datetime import datetime

    2熱度

    1回答

    每當我嘗試運行DAG時,它都將處於運行狀態,但任務不會運行。我已將datetime.today()的開始日期和我的日程安排間隔設置爲「* * * * *」。手動觸發運行會啓動日曆,但由於以下原因,任務將不會運行: 執行日期爲2017-09-13T00:00:00,但是這在任務的開始日期之前2017-09-13T16:20: 30.363268。 我已經嘗試了計劃間隔(如每天的特定時間)以及等待被觸