apache-spark-1.6

0熱度

1回答

線程「main」中的異常java.lang.NoClassDefFoundError：org/apache/spark/sql/SQLContext

我正在使用IntelliJ 2016.3版本。 import sbt.Keys._ import sbt._ object ApplicationBuild extends Build { object Versions { val spark = "1.6.3" } val projectName = "example-spark"

0熱度

1回答

加入兩個數據幀時CassandraSourceRelation不可序列化

我使用spark-cassandra-connector 1.6.2設置了數據幀。我嘗試用cassandra執行一些轉換。 Datastax企業版本是5.0.5。 DataFrame df1 = sparkContext .read().format("org.apache.spark.sql.cassandra") .options(readOptions).loa

0熱度

1回答

如何提取ArrayType的ElementType作爲StructType的實例

我嘗試分解spark中複雜數據框的結構。我只對根目錄下的嵌套數組感興趣。問題是我無法從StructField的類型中檢索ElementType。下面是一個例子，此架構一個StructType對象： df.printSchema result>> root |-- ID: string (nullable = true) |-- creationDate: string (nullable

0熱度

2回答

線程「main」中的異常java.lang.NoClassDefFoundError：org/apache/spark/internal/Logging

My Spark Consumer失敗並顯示「logging」錯誤。我發現瀏覽錯誤是由於罐子不兼容。我使用的Spark 1.6.3和所有的依賴關係在POM中使用，XML是1.6.3。我仍然得到同樣的錯誤。下面是我的maven結構和執行時拋出錯誤。 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark

-1熱度

1回答

使用SparkSQL閱讀Impala表

我試圖執行一個查詢，該函數的功能類似於lead .. over ..分區和Union。當我試圖在impala上運行它時，此查詢效果很好，但在Hive上失敗。我需要編寫一個執行此查詢星火工作。它在SparkSQL中也失敗了，我的假設是因爲Spark 1.6在內部使用HiveQL來完成上述任務。有一些不同的方式來讀取SparkSQL黑斑羚表？因爲在Hive中工作的基本查詢和Both都可以很好地與S

-1熱度

1回答

火花斯卡拉 - 合併多發性行成一個

0熱度

1回答

Broadcast'對象沒有屬性'destroy'？

在我的pyspark scirpt代碼中，我聲明瞭一個Broadcast變量。最後，我想destory這個變量，但得到 Blockquote AttributeError: 'Broadcast' object has no attribute 'destroy' 我這樣的代碼： br = sc.broadcast(my_value) rdd.map(__my_map_function) # _

1熱度

2回答

如何通過Spark屬性（Spark 1.6）啓用或禁用Spark-Shell中的Hive支持？

是否有任何配置屬性，我們可以將其設置爲在Spark 1.6中明確禁用/啓用通過spark-shell的Hive支持。我試圖獲得所有的sqlContext配置屬性，但我不確定在哪些屬性實際上可能需要禁用/啓用配置單元支持，但我不確定。或者還有其他方法可以做到這一點嗎？

1熱度

1回答

如何加載spark.mllib模型而不使用SparkContext來預測？

隨着Spark1.6.0 MLLib，我會建立一個模型（像RandomForest）並保存到hdfs，然後有可能從hdfs加載randomforest模型來預測沒有SparkContext.Now，加載我們可以使用這個模型： VAL loadModel = RandomForestModel.load（SC，modelpath）是否有另一種方式來加載模型，而不SC謝謝！

0熱度

1回答

Spark - 使用可變列將RDD [Vector]轉換爲DataFrame

通過scala/spark 1.6將RDD [Vector]轉換爲DataFrame的最佳解決方案是什麼？輸入是不同的RDD [矢量]。對於不同的RDD，Vector中的列號可以從1到n。我試過使用無形庫，蝙蝠他們需要聲明的列號和類型。 ES： val df = rddVector.map(_.toArray.toList) .collect { case t: Li