google-cloud-dataproc

1熱度

1回答

我試圖在Dataproc集羣上安裝雲MySQL代理，初始化操作的舉例爲here。我刪除了所有的配置單元元數據部分，因爲我不需要它。代理已安裝，但無法連接到我的實例。創建的雲-SQL proxy.service文件看起來不錯： > cat /usr/lib/systemd/system/cloud-sql-proxy.service [Unit] Description=Google Cloud

0熱度

1回答

如何在谷歌dataproc蜂巢執行任務時使用PARAMS /屬性的標誌值

我嘗試使用以下gcloud指令執行在谷歌dataproc蜂巢工作： gcloud Dataproc工作提出蜂巢--cluster = msm-測試簇--file hive.sql --properties = [bucket1 = ABCD] gcloud dataproc工作提交蜂房--cluster = MSM-測試簇--file hive.sql --params = [bucket1 =

0熱度

1回答

Google雲Dataproc預覽圖片的Spark版本是否已更改？

我最近使用'預覽'圖像在Google Cloud Dataproc上啓動了Spark羣集。根據該文檔，預覽圖像的Spark版本是'2.1.0'，但運行spark-shell --version顯示該集羣實際上正在運行Spark 2.2.0。這對我們來說是個問題，因爲我們的版本spark-avro與Spark 2.2.0不兼容。有沒有人遇到過這個問題？我一直無法找到Google關於版本顛簸的官方聲明

0熱度

1回答

無法在數據透視表中刪除/停止作業

我通過API創建了一個集羣（讓它命名爲my_project/clusterUuid123）並提交了一個作業。作業提交後，羣集被刪除，但作業仍在「運行」。如果我嘗試刪除該任務（通過API，外殼，UI），它拋出一個錯誤」 ......未發現集羣項目/ clusterUuid123。 { "code": 404, "message": "Cluster not found "my_project/c

1熱度

1回答

Apache Spark：驅動程序的垃圾回收日誌

運行約10小時後，我的Spark驅動程序運行內存不足，錯誤爲Exception in thread "dispatcher-event-loop-17" java.lang.OutOfMemoryError: GC overhead limit exceeded。爲了進一步調試，我使用了G1GC模式和GC日誌選項，使用spark.driver.extraJavaOptions=-Dlog4j.co

0熱度

2回答

Spark BigQuery連接器：寫入ARRAY類型會導致異常：「」ARRAY的值無效「

在Google Cloud Dataproc中運行Spark作業。使用BigQuery Connector將從作業輸出的json數據加載到BigQuery表中。 BigQuery Standard-SQL data types documentation指出支持ARRAY類型。我的Scala代碼是： val outputDatasetId = "mydataset" val tableSche

0熱度

2回答

通過第三方工具，谷歌Dataproc蜂巢例如

這裏需要你的幫助。我希望我的谷歌Dataproc Hadoop的/蜂房實例與第三方工具連接，並開始與「蟾蜍Hadoop的」。這是一個不錯的選擇嗎？或者還有其他工具可以使用嗎？

0熱度

1回答

DataProc星火錯誤com.google.api.client.googleapis.json.GoogleJsonResponseException：410飄

已經運行YARN火花作業時，作業約9小時後失敗， org.apache.spark.SparkException: Task failed while writing rows at org.apache.spark.sql.execution.datasources.DynamicPartitionWriterContainer.writeRows(WriterContainer.scala:

3熱度

2回答

爲什麼Spark（在Google Dataproc上）不使用所有的核心？

我正在Google DataProc羣集上運行Spark任務。但看起來像火花沒有使用所有vcores集羣中可以作爲你可以看到下面基於像this和this一些其他的問題，我已經安裝使用DominantResourceCalculator同時考慮個vCPU集羣和內存資源分配 gcloud dataproc clusters create cluster_name --bucket="profilin

0熱度

1回答

谷歌雲上的dataproc集羣

我的理解是運行Dataproc集羣而不是設置自己的計算引擎集羣是因爲它負責安裝存儲連接器（和其他連接器）。它還爲你做了什麼？