apache-spark

1熱度

1回答

爲什麼JavaNGramExample會以「java.lang.ClassNotFoundException：scala.collection.GenTraversableOnce $ class」失敗？

我想出來的火花簡單NGRAM例如 https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/ml/JavaNGramExample.java 這是我的POM依賴 <dependencies> <dependency> <groupId>org.apa

0熱度

1回答

帶集羣模式的Spark 2.1忽略extraJavaOptions

我們正在運行HortonWorks Spark Distribution 2.1。我們注意到，當我們使用yarn-cluster作爲master運行Spark時，我們作爲executors.extraJavaOptions傳遞的任何內容都被完全忽略，並且作業在執行程序中維護默認值（如通過Spark UI所示）。我想知道是否有人注意到任何類似的東西，並有一些智慧分享。我很樂意提供所需的更多細節。

0熱度

1回答

Spark可以直接將數據讀入嵌套的case類嗎？

假設您有一個包含三列的CSV：item,username和userid。它是利用星火的數據集API在讀這一個相當簡單的事情： case class Flat(item: String, username: String, userid: String) ds = sparkSession.read.csv("path/to/data").toDF("item", "username", "use

0熱度

1回答

Spark如何將字節碼轉換爲機器碼指令的運行時間轉換？

在閱讀了一些關於Whole State Code Generation的文章之後，spark會執行字節碼優化以將查詢計劃轉換爲優化的執行計劃。現在 https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-whole-stage-codegen.html 我的下一個問題是，但仍然在做這些優化相關的字節碼和所有以後，它仍然

0熱度

1回答

星火羣組rdd由配對RDD上的鑰匙和羣組組成，並從每個羣組中挑選最新的

Spark和Scala的新手。試圖達到以下。我的消息看起來像以下（鑰匙，ID，版本，dataObject時） val transformedRDD = processedMessages.flatMap(message => { message.isProcessed match { case true => Some(message.key, message.id, mes

1熱度

1回答

將未排序RDD的前10％返回爲Spark中另一個RDD的有效方法？

任務：給出一些RDD[Int]的巨大未排序輸入數據集，返回前10％作爲另一個RDD[Int]。爲什麼輸出類型RDD[Int]在第一位？這是因爲輸入的是如此之大以至於連前10％的不適合到內存中，這就是原因，我不能叫 sc.makeRDD(input.top(0.1 * input.count())) 作爲輸出將被「收集」到排氣駕駛員記憶。此問題通常通過整理整個輸入，然後調用某種類型的limi

1熱度

1回答

rfModel.toDebugString錯誤

我在Spark 2.2和Python 2.7.11中使用pyspark，我嘗試使用.toDebugString方法從隨機森林分類器的決策樹中提取規則。我成功吧，但是因爲從2.1到2.2的更新，星火崩潰我使用這個命令後，我得到這個錯誤：完整的錯誤： rfModel.toDebugString ----------------------------------------u'RandomFo

1熱度

2回答

Spark與AVI兼容BigQuery

我試圖在Hive中創建一個外部表，並使用存儲在Avro格式的Google存儲中的相同數據在BigQuery中創建另一個表。我使用的是Dataproc集羣星火2.2.0，星火的Avro 4.0.0和2.1.1蜂房有Avro的版本/包之間的差異一樣，但如果我創建使用蜂巢表和然後我使用Spark編寫文件，我可以在Hive中看到它們。但是對於BigQuery是不同的，它能夠讀取Hive Avro文件

1熱度

1回答

什麼時候合併發生在用戶定義的聚合函數中Spark中的UDAF

我想知道Spark將在哪些情況下作爲UDAF函數的一部分執行合併。動機：我在Spark項目的窗口中使用了很多UDAF函數。我經常想回答這樣一個問題：信用卡交易在同一個國家與30天窗口中的當前交易進行了多少次？該窗口將從當前事務開始，但不會將其包括在計數中。它需要通過當前交易的價值來了解過去30天內哪個國家/地區的數量。 val rollingWindow = Window .p

0熱度

1回答

錯誤而使用PostgreTable JDBCUtils的truncateTable方法使用星火

我試圖用JDBCUtils截斷表從星火postgre_table，但它拋出下面的錯誤 < console>:71: error: value truncateTable is not a member of object org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils val trucate_table = JdbcUtils.t