爲Google Dataproc集羣提供自定義job_id以運行pig/hive/spark作業

Question

是否有任何標誌可用於將自定義job_id提供給dataproc作業。我正在使用這個命令來運行豬工作。

gcloud Dataproc工作提交豬--cluster my_cluster --file my_queries.pig

我用類似的命令提交pyspark /蜂巢工作。

該命令自行創建job_id，稍後跟蹤它們很困難。

Answer 1

雖然可以在使用底層REST API時提供自己生成的jobid，但在使用gcloud dataproc jobs submit提交時，目前沒有任何指定自己的jobid的方法;此功能可能會在未來添加。也就是說，通常當人們想要指定工作ID時，他們也希望能夠用更復雜的匹配表達式列出，或者有可能在不同時間點具有由不同類型的表達式列出的多個類別的工作。

因此，您可能需要考慮dataproc labels;標籤專門用於這種用例，並針對高效查找進行了優化。例如：

gcloud dataproc jobs submit pig --labels jobtype=mylogspipeline,date=20170508 ... 
gcloud dataproc jobs submit pig --labels jobtype=mylogspipeline,date=20170509 ... 
gcloud dataproc jobs submit pig --labels jobtype=mlpipeline,date=20170509 ... 

gcloud dataproc jobs list --filter "labels.jobtype=mylogspipeline" 
gcloud dataproc jobs list --filter "labels.date=20170509" 
gcloud dataproc jobs list --filter "labels.date=20170509 AND labels.jobtype=mlpipeline"