apache-spark-sql

3熱度

1回答

我可以從安裝apache spark的同一集羣中的hive服務器加載數據。但是，我怎麼能從遠程配置單元服務器加載數據到數據幀。配置單元jdbc連接器是唯一的選擇嗎？任何建議我該怎麼做？

5熱度

1回答

WARN ReliableDeliverySupervisor：與遠程系統的關聯失敗，地址現在被控制爲[5000] ms。原因：[解除關聯]

我運行在AWS上如下語句引發 val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ case class Wiki(project: String, title: String, count: Int, byte_size: String) val data = sc.

0熱度

1回答

Apache Spark SQL NumberFormatException

我正在使用Spark 1.2進行某些數據處理。我使用StructField創建了一個模式。 val exampleSchema = StructType(Array(StructField("SerialNo",StringType,true),StructField("Date",DateType,true),StructField("Value",IntegerType,true))) v

0熱度

1回答

星火SQL使用連接兩個或多個表的兩個SELECT語句

時，這是我的發言： val Porders = sqlContext.sql( """SELECT count(STATUS_CD) FROM s_order WHERE STATUS_CD = 'pending' AND ROW_ID IN (SELECT so.ROW_ID FROM s_order so JOIN s_order_item

7熱度

3回答

如何將火花DataFrame保存爲磁盤上的csv？

對本 df.filter("project = 'en'").select("title","count").groupBy("title").sum() 這將返回一個數組示例結果。如何將火花DataFrame保存爲磁盤上的csv？

3熱度

3回答

com.mysql.jdbc.Driver在啓動spark sql和thrift服務器時未在類路徑中找到

我在啓動spark-sql shell時收到以下錯誤。但是，當我使用命令啓動shell它的工作原理 ./spark-sql --jars /usr/local/hive/lib/mysql-connector-java.jar 但是當我開始節儉服務器使用下同方式comamnd再次拋出了同樣的錯誤。 /usr/local/spark/sbin/start-thriftserver.sh --j

2熱度

1回答

保存JSON從SparkSQL

我使用SQL星火提取從JSON文件中的一些信息階。現在的問題是我想從SQL分析結果保存到另一個JSON與高原或d3.js.繪製它問題是我不知道究竟是如何做到這一點。任何建議？ val inputTable = sqlContext.jsonFile(inputDirectory).cache() inputTable.registerTempTable("inputTable") val lang

0熱度

1回答

是否可以在單火花上下文中偵聽兩個dtsream？

我使用Spark 1.4.1。我想同時收聽兩個不同的流，並在兩個流中找到常見事件。例如：假設一個溫度數據流和另一個壓力數據流。我想聽兩個流，並在兩者都很高時發出警報。我有兩個問題是否可以處理兩個不同的數據流中的星星之火上下文。是否有可能在單個驅動程序中具有可變窗口大小的多個火花上下文。任何其他關於如何在上述情況下工作的想法也將深受讚賞。謝謝

0熱度

1回答

SparkSQL DataFrame：使用緩存時sql查詢不起作用

我開始使用spark來學習。我做了一個基於this document的簡單程序。我的程序從文件（在HDFS集羣上）讀取支付日誌，將其傳輸到一個數據框，並在一些sql查詢中使用這個數據框。我在兩種情況下運行我的程序：使用和不使用cache（）方法。我遇到了一個奇怪的問題，因爲描述波紋管：不使用高速緩存（）：我試圖運行一些查詢和一切都很好。（log_zw是我的表名） val num_recor

13熱度

1回答

在Spark SQL表中分解（轉置？）多列

我正在使用Spark SQL（我提到它在Spark中，以防影響SQL語法 - 我還不夠熟悉），並且我有一個表，我試圖重新構建，但我陷入了困境，試圖在同一時間轉置多列。基本上我有數據，看起來像： userId someString varA varB 1 "example1" [0,2,5] [1,2,9] 2 "example2" [1,20,5] [9,null,6