apache-spark-sql

1熱度

1回答

這個作品有鑲木 val sqlDF = spark.sql("SELECT DISTINCT field FROM parquet.`file-path'") 我試着用Avro的方式相同，但它不斷給我的錯誤，即使我使用com.databricks.spark.avro。當我執行以下查詢： VAL sqlDF = spark.sql（「SELECT DISTINCT Source_Produ

0熱度

2回答

Postgresql UUID []給Cassandra：轉換錯誤

它給了我java.lang.ClassCastException：[Ljava.util.UUID;不能轉換爲[Ljava.lang.String; 我的作業從包含user_ids uuid[]類型列的PostgreSQL表中讀取數據，以便在我試圖在Cassandra上保存數據時收到上述錯誤。但是，在Cassandra上創建這個同樣的表格工作正常！ user_ids list<text>。我無

-1熱度

1回答

Tableau工具vs apache Zeppelin

我現在正在使用apache Zeppelin。我想確定一個使用Spark/Scala進行報告的好工具。請比較齊柏林和Tableau。感謝

0熱度

1回答

如何在spark-sql CLI中打印SQL查詢？

我正在使用spark-sql來執行大的SQL文件。我想在spark執行之前記錄SQL查詢，類似於配置單元詳細模式。我已經試過spark-sql CLI，其參數爲-v，但仍然不打印SQL查詢。 spark-sql -v \ <configuration parameters> \ -f abc.sql 蜂巢命令： hive -v \ <configuration parameters> \

0熱度

3回答

如何從數據集中獲取值並將其存儲在Scala值中？

我有一個數據幀，看起來像這樣： scala> avgsessiontime.show() +-----------------+ | avg| +-----------------+ |2.073455735838315| +-----------------+ 我需要的價值2.073455735838315存儲在一個變量。我試着用 avgsessiontime.collect

2熱度

1回答

如何在SQL模式下使用具有顯式存儲級別的CACHE或PERSIST（不是數據集API）？

如何在Spark SQL中以SQL模式使用存儲級別PERSIST？可以在Spark SQL中使用CACHE。

0熱度

1回答

火花治療CSV列的空值作爲空數據類型

1熱度

1回答

什麼SQL標準是Spark SQL？

我很難在Spark SQL中找到可用的SQL命令/語法。我通常最終找到各種Scala函數調用。 Spark SQL符合什麼標準？我在哪裏可以找到Spark支持的SQL的完整列表？編輯：要清楚，我要找星火SQL相當於這個List of PostgreSQL Commands

0熱度

3回答

如何在Scala中將字符串轉換爲日期，以便在SparkSQL中進行篩選？

我希望能夠像在普通SQL中一樣過濾日期。那可能嗎？我遇到了如何將字符串從文本文件轉換爲日期的問題。 import org.apache.spark._ import org.apache.spark.SparkContext._ import org.apache.spark.sql._ import org.apache.log4j._ import java.text._ //imp

0熱度

2回答

Spark -Reading Terradata表和插入Oracle表

我正在使用Spark從Terradata表中讀取數據，並且想要在Oracle中使用Upsert表。我能夠插入數據，但我可以執行UPSERT嗎？這就是我將數據插入Oracle的方式。 dataframe.write.mode（SaveMode.Append）.jdbc（URL，表6，道具）