請求認證範圍不足

Question

我試圖在dataproc主節點上使用gcloud運行pyspark應用程序。我得到「請求認證範圍不足」

# gcloud dataproc jobs submit pyspark --cluster xxxxx test.py 

gcloud.dataproc.jobs.submit.pyspark) You do not have permission 
to access  cluster [xxxxxx] (or it may not exist): 
Request had insufficient authentication scopes 

我可以通過Jobs GUI運行相同的應用程序。我沒有鏈接到doc現在，但它表示，如果這已在Compute VM上運行，不需要單獨的憑據，這似乎與我使用GUI運行相同的應用程序時一致。任何幫助？

Answer 1

從Dataproc節點運行時，您將代表連接到VM的service account。通常，您將使用默認的計算引擎服務帳戶，但也可以使用Dataproc service account configuration指定。除了服務帳戶外，還有一個scopes的列表，該列表限制哪個服務帳戶允許從該VM訪問的GCP服務。默認情況下，存在BigQuery，GCS，日誌記錄和其他一些小範圍，但不是創建其他VM或Dataproc羣集等的一般管理範圍。

要授予必要的範圍內，你必須添加--scopes首先創建羣集時：

gcloud dataproc clusters create --scopes cloud-platform ...