apache-spark-dataset

0熱度

1回答

在Spark數據集中使用custome UDF withColumn <Row>; java.lang.String不能轉換爲org.apache.spark.sql.Row

我有一個包含許多字段的JSON文件。我在java中使用spark的Dataset讀取文件。星火版本2.2.0 JAVA JDK 1.8.0_121 下面是代碼。 SparkSession spark = SparkSession .builder() .appName("Java Spark SQL basic example") .config(

0熱度

1回答

如何避免數據集在映射時將列重命名爲值？

在映射數據集時，我始終存在將列從_1，_2等重命名爲值，值的問題。這是什麼導致重命名？

1熱度

1回答

使用Spark DataSet的地圖值的聚合地圖

我使用Spark DataSet處理以下地圖格式的cassandra中的columnfamily。因此，我想分兩種類型溢價（City and Duster）與非溢價（Alto K10, Aspire, Nano and i10），我希望溢價與非溢價的最終計數值爲2（City,Duster計數）與10（ Alto K10, Aspire, Nano and i10）。代碼： case class

0熱度

1回答

如何導入CSV或TXT文件

我在與來自文檔星火Mllib代碼（https://spark.apache.org/docs/latest/ml-collaborative-filtering.html）這部分的問題，採用CSV或TXT文件時，設置星火數據集編碼： val ratings = spark.read.textFile("data/mllib/als/sample_movielens_ratings.txt")

0熱度

1回答

查找數據幀中屬性組合的前n個元素spark

我有一個如下所示的數據框。 scala> ds.show +----+----------+----------+-----+ | key|attribute1|attribute2|value| +----+----------+----------+-----+ |mac1| A1| B1| 10| |mac2| A2| B1| 10|

0熱度

1回答

Spark2.0中的Dataset.map（r => xx）和Dataframe.map（r => xx）有什麼區別？

一些如何在Spark2.0，我可以使用Dataframe.map(r => r.getAs[String]("field"))沒有問題但DataSet.map(r => r.getAs[String]("field"))給出錯誤r不具備「getAs」的方法。是什麼在DataSet和r在DataFramer之間的差異，爲什麼r.getAs只有DataFrame的作品？在StackOverflo

1熱度

1回答

使用火花數據框進行字段數據驗證

我有一堆列，樣本如我的數據顯示如下所示。我需要檢查列的錯誤，並將不得不生成兩個輸出文件。我正在使用Apache Spark 2.0，我希望以有效的方式做到這一點。 Schema Details --------------- EMPID - (NUMBER) ENAME - (STRING,SIZE(50)) GENDER - (STRING,SIZE(1)) Data ----

0熱度

1回答

找不到適用於零實際參數的構造函數/方法 - Apache Spark Java

我在運行時遇到了奇怪的錯誤，我沒有看到MyBean類的任何錯誤，不知道下面的驅動程序代碼有什麼問題？由於 Maven的Dependencies- <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>2.1.0</versio

0熱度

1回答

Spark數據集agg方法

我正在使用Spark和dataSet API創建一些分析數據集。我得分手在那裏我calcuating一些變量，它看起來是這樣的： CntDstCdrs1.groupByKey(x => (x.bs_recordid, x.bs_utcdate)).agg( count(when(($"bc_sub_org_id" === lit(500) && $"bc_utcdate" >= $"day

2熱度

1回答

Dataset.unpersist（）意外地影響了其他RDD的計數

我遇到了一個奇怪的問題，在一個數據集上調用unpersist()會影響同一代碼塊中另一個數據集的計數。不幸的是，這發生在一個複雜的長時間運行的工作中，有很多數據集，所以我不能在這裏總結整個事情。我知道這是一個棘手的問題，但讓我試着勾畫出來。我正在尋找的是一些確認，這種行爲是意想不到的，以及關於它爲什麼會發生或者我們如何避免它的任何想法。編輯：此問題報告發生在Spark 2.1.1上，但不會在2.