Java Spark Dataframe API（1.4.1）中未定義max（）和sum（）的方法

Question

將示例代碼DataFrame.groupBy()放入我的代碼中，但顯示max()和sum()的方法未定義。

df.groupBy("department").agg(max("age"), sum("expense")); 

我要導入的Java包，如果我想使用max()和sum()方法？

此示例代碼的語法是否正確？

Answer 1

嘗試import org.apache.spark.sql.functions._

編輯。

從我注意到你正在使用scala語法，試圖通過應用方法訪問列。對於Java，你必須通過柱像.col方法是：

df.groupBy("department").agg(max(df.col("age")), sum(df.col("expense"))); 

見Java示例here

Answer 2

看來你要搜索 「org.apache.spark.sql.GroupedData」

要像你寫的代碼一樣在你的代碼中使用它們，你需要一個靜態導入。

Link to Api

總是試圖先看看API描述。

Answer 3

導入不適合我。 Eclipse IDE仍顯示編譯錯誤。

但下面的方法調用工作

df.groupBy("Gender").agg(org.apache.spark.sql.functions.max(df.col("Id")), org.apache.spark.sql.functions.sum(df.col("Income"))); 

在情況下，聚合只涉及一個領域，我們還可以使用下面的語法，

df.groupBy("Gender").max("Income"); 

Answer 4

import static org.apache.spark.sql.functions.* 

試試這個導入的所有功能包括max和sum