apache-spark-dataset

0熱度

2回答

0熱度

2回答

有條件申請`filter` /`where`到火花`Dataset` /`Dataframe`

鄉親您好我有一個加載一些S3位置的數據集，並返回有趣的數據 private def filterBrowseIndex(spark: SparkSession, s3BrowseIndex: String, mids: Seq[String] = Seq(), indices: Seq[String] = Seq()): Dataset[BrowseIndex] = { import spark

1熱度

2回答

空值不寫在「org.zuinnote.spark.office.excel」包中

Dataset<Row> SourcePropertSet = sqlContext.read() .format("com.crealytics.spark.excel") .option("location", "E:\\XLS\\NEWFILE.xlsx") .option("useHeader", "false") .option("

-3熱度

1回答

星火數據集相關

我的數據集是由下面的代碼 +------+---------------+----+ | City| Timestamp|Sale| +------+---------------+----+ |City 3|6/30/2017 16:04| 28| |City 4| 7/4/2017 16:04| 12| |City 2|7/13/2017 16:04| 8| |City 4|7/

2熱度

1回答

如何在Spark Java中將具有值的列添加到新的數據集？

所以，我從java Spark API創建了一些數據集。這些數據集使用spark.sql（）方法從配置單元表填充。因此，執行一些sql操作（如聯接）後，我有一個最終的數據集。我想要做的是我想爲該最終數據集添加一個新列，對數據集中的所有行賦值「1」。因此，您可能會將其視爲向數據集添加約束。因此，例如我有這樣的數據集： Dataset<Row> final = otherDataset.selec

1熱度

1回答

Spark數據幀saveAsTable不截斷Hive表中的數據

我正在使用Spark 2.1.0並使用Java SparkSession運行我的SparkSQL。我正試圖保存名爲'ds'的Dataset<Row>以保存到名爲schema_name.tbl_name的Hive表中並使用覆蓋模式。但是當我運行下面的語句 ds.write().mode(SaveMode.Overwrite) .option("header","true") .option(

0熱度

1回答

Scala中彙總Spark數據集的問題

我正在使用scala的/：操作符計算一系列數據集聚合。爲聚合的代碼如下所示：當我嘗試運行了哪些形式傳入f參數單獨的功能列表塊發生 def execute1( xy: DATASET, f: Double => Double): Double = { println("PRINTING: The data points being evaluated: " + xy) println("P

0熱度

1回答

如何在Spark中爲Row，LabeledPointData設置編碼器？

public static Dataset<LabeledPoint> convertRDDStringToLabeledPoint(Dataset<String> data,String delimiter) { Dataset<LabeledPoint> labeledPointData = data.map( (data1)->{ String spli

1熱度

2回答

火花陷落柱值dataframes

我有2個DataFrames case class UserTransactions(id: Long, transactionDate: java.sql.Date, currencyUsed: String, value: Long) ID, TransactionDate, CurrencyUsed, value 1, 2016-01-05, USD, 100 1, 2016-01-

1熱度

2回答

星火SQL的斯卡拉API - TimestampType - 無編碼器發現org.apache.spark.sql.types.TimestampType

我在Databricks筆記本使用的Spark 2.1斯卡拉2.11究竟是什麼TimestampType？ TimestampType可以在這裏找到了SparkSQL的斯卡拉API在：我們從SparkSQL's documentation這是官方的時間戳類型是TimestampType，這顯然是對的java.sql.Timestamp別名知道我們使用模式和數據集API 時當解析{"time"