google-cloud-dataproc

0熱度

1回答

的GCP python文檔具有以下功能的腳本：我創建了我的腳本的參數解析函數，它在多個參數（ def upload_pyspark_file(project_id, bucket_name, filename, file): """Uploads the PySpark file in this directory to the configured input bucke

1熱度

1回答

Dataproc蜂巢運營商沒有運行HQL文件存儲在存儲桶

我試圖用氣流腳本來運行存在於雲存儲HQL文件，有兩個參數，通過它我們可以通過DataprocHiveOperator路徑：查詢： 'GS：//bucketpath/filename.q' Error occuring - cannot recognize input near 'gs' ':' '/' query_uri： 'GS：//bucketpath/filename.q' Error o

1熱度

1回答

結構化流創建除火花元數據（Parquet）以外的任何其他文件

我試圖運行一個結構化的流應用程序，將輸出文件作爲拼塊寫入Google雲存儲。我沒有看到任何錯誤。但它不會將文件寫入GCS位置。我只能看到spark-metadata文件夾。任何想法如何我可以調試？ windowDuration = "60 minutes"; slideDuration = "10 minutes"; data_2 = complete_data; d

1熱度

1回答

集羣重啓後谷歌雲Dataproc集羣的外部IP地址變化

谷歌雲數據集有一個選項可以停止（不刪除）集羣（Master + Worker節點）並啓動，但是當我們這樣做時，外部IP地址爲主節點和工作節點正在發生變化，這對使用Hue和其他基於IP的Web UI產生了問題。是否有任何選項在重新啓動後保留相同的IP？

1熱度

1回答

Google雲Dataproc上的IllegalStateException

我正在嘗試編寫一個簡單的vanilla協作過濾應用程序，運行在Google Cloud Dataproc上。該數據位於BigQuery中。我已經實現了這個根據本教程：https://cloud.google.com/dataproc/docs/tutorials/bigquery-sparkml 現在的問題是，當運行這個（稍加修改）的例子，我得到一個IllegalStateException。

1熱度

1回答

錯誤：啓動Dataproc集羣時資源項目中的權限被拒絕

我成功地通過gcloud dataproc clusters create...手動創建一個數據集羣來啓動數據集羣。但是，當我嘗試通過腳本（自動提供並停止集羣）啓動一個腳本時，它說ERROR: (gcloud.dataproc.clusters.create) PERMISSION_DENIED: Permission denied on resource project hail-test-pr

7熱度

2回答

Google Cloud Dataflow和Google Cloud Dataproc有什麼區別？

我正在使用Google Data Flow來實施ETL數據倉庫解決方案。展望谷歌雲產品，似乎DataProc也可以做同樣的事情。它似乎DataProc比DataFlow便宜一點。有誰知道數據流超過DataProc 的優點/缺點，爲什麼谷歌同時提供？

0熱度

1回答

將BigQuery和/或雲存儲GCS中的數據讀入Dataproc

我正在將BigQuery中的數據讀入到dataproc spark集羣中。如果我的BigQuery表中的數據最初是從GCS加載的，那麼最好是從GCS直接讀取數據到Spark集羣，因爲dataproc的BigQuery連接器（newAPIHadoopRDD）首先將數據下載到Google Cloud Storage存儲桶中？這兩種方法之間有什麼優點和缺點？

1熱度

2回答

什麼樣的RDDS的火花可以保存到使用saveAsNewAPIHadoopDataset

BigQuery資料表在Using the BigQuery Connector with Spark // Perform word count. val wordCounts = (tableData .map(entry => convertToTuple(entry._2)) .reduceByKey(_ + _)) // Write data back into

0熱度

1回答

通過dataproc工作流程模板傳遞參數

據我所知，dataproc工作流程模板仍處於測試階段，但您如何通過添加作業將參數傳遞到可執行文件sql？這是一個基本的例子： #/bin/bash DATE_PARTITION=$1 echo DatePartition: $DATE_PARTITION # sample job gcloud beta dataproc workflow-templates add-job hiv