collectAsList in Spark DataFrame

2015-10-30 196 views 2 likes

Spark DataFrame API的collectAsList方法返回java.util.List而不是Scala List是否有任何具體原因？collectAsList in Spark DataFrame

2015-10-30 sourabh

我找不到這個選擇的任何文檔，所以這是推測我猜。我假設這是因爲'java.util.List'是可變的，而Scala'List'不是（可能這裏的用例更適合可變列表）。 –

沒有具體原因！ http://www.scala-lang.org/api/current/index.html#scala.collection.mutable.MutableList是一個可變的Scala列表 – eliasah

回答

我相信它對於Java用戶來說主要是一種便利功能，並且使Python API變得更簡單。查看git日誌（以及註釋之後），它是在DataFrame API的初始合併中引入的，因此它不一定是爲了滿足特定需求而添加的。有時候，有些API會返回Java類型，因爲它們更容易與Python進行接口（通過py4j） - 但這似乎並不是這種情況（python API通過將DF變成RDD並收集RDD ）。

來源

2015-10-30 18:16:04 Holden

相關問題

11. Spark-SQl DataFrame分區
12. Spark隱式$ for DataFrame
13. Spark DataFrame映射錯誤
14. Spark Dataframe中的重複列
15. Spark寫DataFrame出jdbc錯誤
16. spark datasource IN subquery
17. SPARK IN CLOUDERA
18. spark中的reducebykey和aggregatebykey Dataframe
19. Spark ML（Dataframe）和降維
20. Spark 2.0數據集vs DataFrame
21. Spark Dataframe的更改模式
22. Spark DataFrame將行添加列
23. 如何轉動Spark DataFrame？
24. 使用spark python分割dataFrame
25. 在Spark DataFrame中的na.fill Scala
26. Logical Plan to DataFrame/Dataset Apache spark
27. Spark DataFrame實例新列
28. Spark sql DataFrame類不存在
29. Spark DataFrame UDF分區列
30. 如何融化Spark DataFrame？