Airflow DataProcPySparkOperator不考慮全球區域以外的集羣

Question

我正在使用DataProcPySparkOperator執行一些操作。此運算符僅將集羣名稱作爲參數，不存在指定區域的選項，默認情況下它將集羣視爲全局區域。 對於不是全球其他地區集羣，出現以下錯誤：

googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:submit?alt=json returned "No current cluster for project id '' with name ''`

我失去任何東西，它只是限制與這些運營商？

Answer 1

這些DataProc {PySpark | Spark | Hive | Hadoop | ..}運營商現在根本不支持區域參數，氣流issue已創建，我將在接下來的幾天內提交修復。