apache-spark-sql

4熱度

4回答

我知道我們可以使用Spark SQL並使用Impala加載parquet文件，但是想知道我們是否可以使用Hive做同樣的事情。我一直在閱讀很多文章，但我仍然感到困惑。簡而言之，我有一個鑲木地板文件 - 比如說users.parquet。現在我在這裏觸及如何從users.parquet加載/插入/導入數據到配置單元（顯然是表格）。如果我缺少一些明顯的東西，請告訴我或指出正確的方向。 Creati

2熱度

1回答

「正常化」數據幀到更大的話

使用Python和火花的數據幀：假設我有與含有句子行的數據幀，哪能normalize（從DBMS計）的句子數據幀與各另一數據幀包含從句子中分離的單詞的行？我想這主要是telegraph problem。例如，假設df_sentences看起來是這樣的： [Row(sentence_id=1, sentence=u'the dog ran the fastest.'), Row(sentenc

0熱度

1回答

DataFrame.cache（）和hiveContext.cacheTable有什麼區別？

有以下片段之間的任何差別： val df = hiveContext.createDataFrame(rows, schema) df.registerTempTable("myTable") df.cache() 和 val df = hiveContext.createDataFrame(rows, schema) df.registerTempTable("myTable") h

1熱度

1回答

加入在Spark上創建物理計劃中的CartesianProduct的數據框1.5.2

當使用spark-avro庫加入從avro文件創建的數據框時，我遇到了性能問題。數據幀是從120K的avro文件創建的，總大小約爲1.5TB。這兩個數據幀非常龐大，數十億條記錄。這兩個DataFrame的連接永遠運行。此過程在具有300個執行器並具有4個執行器內核和8GB內存的紗線羣上運行。有關此加入的任何見解都將有所幫助。我已經在下面發佈瞭解釋計劃。我注意到物理計劃中的Cartesi

-1熱度

2回答

如何在使用scala的spark中創建SQLContext

我正在使用sbt創建一個使用sbt的SQLContext的scala程序。這是我build.sbt： name := "sampleScalaProject" version := "1.0" scalaVersion := "2.11.7" //libraryDependencies += "org.apache.spark" %% "spark-core" % "2.5.2" l

3熱度

2回答

spark scala dataframe時間戳轉換排序？

我有以下形式的CSV： t,value 2012-01-12 12:30:00,4 2012-01-12 12:45:00,3 2012-01-12 12:00:00,12 2012-01-12 12:15:00,13 2012-01-12 13:00:00,7 我使用spark-csv轉換成該數據幀。（所以t是String類型，而value是整數類型）。什麼是適當的火花Scala

12熱度

3回答

如何在使用Spark DataFrame groupby時獲取其他列？

當我使用數據框GROUPBY這樣的： df.groupBy(df("age")).agg(Map("id"->"count")) 我只會取得列「年齡」和「計數（ID）」一個數據幀，但在DF，有喜歡的「名」多個欄目。總之，我希望得到的結果在MySQL中，「選擇姓名，年齡，年齡從DF組數（ID）」，我應該怎麼辦時，在Spark中使用groupby？

0熱度

2回答

爲SQLContext格式化JSON文件

加載依賴於輸入JSON文件格式的JSON時遇到問題。根據JSON數據集上的Spark文檔，輸入文件上的每一行必須是有效的JSON對象。回覆：「請注意，作爲json文件提供的文件不是典型的JSON文件，每行必須包含一個單獨的，自包含的有效JSON對象，因此，常規的多行JSON文件往往會失敗。「所以，如果我有一個輸入JSON文件如： { "Year": "2013", "First Name

0熱度

1回答

Spark SQL 1.5.2缺少PostgreSQL的JDBC驅動程序？

我在Spark SQL文檔中看到可以直接在遠程PostgreSQL表上創建臨時表。 CREATE TEMPORARY TABLE <table_name> USING org.apache.spark.sql.jdbc OPTIONS ( url "jdbc:postgresql://<PostgreSQL_Hostname_IP>/<database_name>", dbtable "im

0熱度

1回答

錯誤：值toDF不是org.apache.spark.rdd.RDD的成員[類別]

將rdd轉換爲DF時出現錯誤（）錯誤：值toDF不是org.apache.spark的成員。 rdd.RDD [類別] 任何人都可以幫我解決這個請。