apache-spark-sql

0熱度

1回答

表格只有String列作爲主列EMPLOYEE_ID如何對其進行分區。 val destination = spark.read.options(options).jdbc(options("url"), options("dbtable"), "EMPLOYEE_ID", P00100001, P00100005000000, 10, new java.util.Properties()).rd

0熱度

1回答

通過RESTful API查詢SPARK作業生成的數據

我很新奇。我用SPARK工作制作了一個具有大約420MB數據的文件。我有一個Java應用程序，它只需要根據特定條件從該文件併發查詢數據並以json格式返回數據。到目前爲止，我已經找到了SPARK 2個RESTful API中，但它們只用於遠程提交SPARK的工作和管理SPARK環境， 1)Livy 2)Spark job-server 如果可用，什麼是做同樣的（除了數據庫）其他選擇嗎？

-2熱度

1回答

row.getList java.lang.ClassCastException：java.math.BigDecimal不能轉換爲scala.collection.Seq

我試圖用下面的schema元素從一行中檢索一個列表。 [info] |-- ARRAY_FIELD: array (nullable = false) [info] | |-- element: string (containsNull = false) 當使用 row.getAs[WrappedArray[String]]("ARRAY_FIELD") 我得到以下結果打印 Wrappe

0熱度

1回答

如何變換數據集<Row>另一個

我的數據集有一個名爲列「鍵（串），價值（長）」像prefix.20171012.111.2222列項的值，和列值的9999價值我想將數據集轉換成一個新的數據集，將colmun鍵拆分爲像「day，rt，item_id，value」這樣的其他數據集。如何做到這一點，非常感謝

1熱度

1回答

左外複雜使用Seq（「key」）語法加入Spark DataFrames

我需要使用數據框轉換下面的SQL聯接。這個問題是我得到複製「關鍵」列 val result_sql = sparkSession.sql(" select * from TAB_A a left outer join TAB_B b on a.key = b.key AND a.e_date between b.start_date and b.end_date ") result_sql.p

0熱度

1回答

避免在pyspark代碼中使用collect（）函數的最佳方法是什麼？編寫優化pyspark代碼的最佳方法是什麼？

嗨我想寫一個代碼在pyspark從數據框中創建一個列表。我在我的代碼中使用collect（）函數，但不確定它是否是從數據幀列中獲取值的過濾器列表的正確方法。由於collect（）將數據帶入數據節點，所以在大尺寸數據框例如10 GB的情況下它將是一個糟糕的選項。下面是我的輸入數據框 - [Row(parent=u'p1', child=u'c1'), Row(parent=u'p11', chil

0熱度

1回答

如何執行火花兩個查詢

我通過火花試圖在mysql中設置row number每一行 SET @row_num = 0; SELECT @row_num := @row_num + 1 as row_number,t.* FROM table t 它的正常工作在MySQL，但來自火花它拋出一個錯誤 val setrownum = "SET property_key[[email protected]_num = 0]

0熱度

1回答

scala.collection.immutable.Iterable [org.apache.spark.sql.Row]到DataFrame？錯誤：重載方法值createDataFrame替代品

我有一些sql.Row的對象，我想轉換爲DataFrame在星火1.6.x的我行的樣子： events: scala.collection.immutable.Iterable[org.apache.spark.sql.Row] = List([14183197,Browse,80161702,8702170626376335,59,527780275219,List(NavigationLev

2熱度

1回答

如何過濾pyspark中列表中的值列？

我有一個dataframe rawdata，我必須在列X上使用值CB，CI和CR應用篩選條件。所以我用下面的代碼： df = dfRawData.filter(col("X").between("CB","CI","CR")) 但我收到以下錯誤： between() takes exactly 3 arguments (4 given) 請讓我知道我可以解決這個問題。

1熱度

2回答

甲骨文引黃星火SQL

我試圖從星火SQL與下面的代碼連接到Oracle DB： val dataTarget=sqlcontext.read. format("jdbc"). option("driver", config.getString("oracledriver")). option("url", config.getString("jdbcUrl")). option("user",