apache-spark-sql

14熱度

1回答

在「def main」風格中出現「沒有TypeTag可用」的Scala/Spark應用程序錯誤App

我是新來的Scala/Spark堆棧，我試圖弄清楚如何使用SparkSql測試我的基本技能來「映射」 RDD在臨時表中，反之亦然。我有兩個不同的.scala文件具有相同的代碼：一個簡單的對象（用def main ...）和一個擴展App的對象。在簡單對象一個我得到一個錯誤，由於連接到我的情況類日誌「沒有可用TypeTag」： object counter { def main(arg

5熱度

1回答

這是Spark 1.3中的一個迴歸錯誤嗎？

沒有火花SQL 1.2.1廢棄警告，下面的代碼在1.3 1.2.1曾爲停止工作（沒有任何廢棄警告） val sqlContext = new HiveContext(sc) import sqlContext._ val jsonRDD = sqlContext.jsonFile(jsonFilePath) jsonRDD.registerTempTable("jsonTable") v

1熱度

1回答

scala 2.10.4到2.11的火花

我需要使用SparkSQL和超過22列的表。 Scala 2.11似乎解決了這個問題。有關如何升級和可能的工作跨版本的任何幫助？我在eclipse中使用Scala IDE，但是由於SchemaRDD的問題，我可以轉向Intellij IDEA。任何幫助表示讚賞。

0熱度

1回答

Apache Spark SQL問題：java.lang.RuntimeException：[1.517] failure：標識符預計

根據我對spark sql的調查，知道超過2個表不能直接連接，我們必須使用sub查詢以使其工作。所以我使用子查詢，並能加入3個表：與下面的查詢：「SELECT姓名，年齡，性別，dpi.msisdn，subscriptionType， maritalStatus，isHighARPU，ip地址，開始時間， endTime，isRoaming， dpi.totalCount，dpi.website

2熱度

3回答

spark jobserver錯誤classnotfoundexception

我一直在嘗試使用spark-shell的spark。我所有的數據都是在sql中。 I used to include external jars using the --jars flag like /bin/spark-shell --jars /path/to/mysql-connector-java-5.1.23-bin.jar --master spark://sparkmaster.co

0熱度

2回答

如何在spark sql registeredFunction中使用spark SqlContext對象？

我是Spark SQL新手。 Concat函數在Spark Sql Query中不可用，因爲我們已經註冊了一個sql函數，在此函數中我需要訪問另一個表。爲此，我們在SQLContext對象上編寫了spark sql查詢。當調用此查詢我得到NullpointerException.please能幫上你這一點。預先感謝 //此我我的代碼 class SalesHistory_2(sqlContex

2熱度

1回答

在Spark中支持java的用戶定義類型

在spark中是否支持UDT for java？將JavaRDD轉換爲JavaSchemaRDD時，JavaSQLContext是否支持用戶定義類型（UDT）？如果是，是否有任何示例來演示此功能。

0熱度

1回答

無法從案例類別的RDD中保存AsParquetFile

我遵循Spark SQL guide中的說明。 import sqlContext.implicits._ val people: RDD[Person] = ... people.saveAsParquetFile("people.parquet") 而下面是我的代碼： val rawRDD = sc.textFile(peopleFile).map(_.split(",")).ma

2熱度

3回答

面向錯誤，同時擴展Scala類與產品接口，以克服火花外殼的22個字段的限制

我需要創建一個類架構，以支持29個字段。由於與案例類22場的極限我試圖與產品接口延長我的班「sdp_d」如下： class sdp_d(WID :Option[Int], BATCH_ID :Option[Int], SRC_ID :Option[String], ORG_ID :Option[Int], CLASS_WID :Option[Int], DESC_TEXT :Option[Stri

3熱度

1回答

在Maven項目使用HiveContext

我已經建立了火花1.2.1使用Maven使用以下命令啓用蜂巢支持： mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -DskipTests clean package 這導致/spark-1.2.1/core/target/scala-2.10/classes文件夾中生成現在如何做一些類文件我在我的Eclipse + Maven項目中使