演員名單<Row>列出<T>在java中

Question

我從卡桑德拉桌上拿起值和數據集中存儲他們這樣的：

Dataset query =spark.sql("select url,sourceip,destinationip from traffic_data"); 
List<Row> = query.collectAsList(); 

現在我已經有變量作爲網址，SOURCEIP和destionationip一個POJO類group類。

Is it possible to cast this List<Row> to List<GroupClass>? 

Answer 1

從技術上講，你可以，但是這會在運行時拋出ClassCastException。

在這種情況下，最佳做法是使用Copy Constructor。

Answer 2

我來自斯卡拉，但我確實相信在java中有類似的方法。

一種可能的方案對子級是下列：

val query =spark.sql("select url,sourceip,destinationip from traffic_data").as[GroupClass] 

查閱查詢值的類型爲Dataset[GroupClass]，因此調用collectAsList()方法retruns一個列表[group類]

val list = query.collectAsList(); 

另一種解決方案（我想你必須使用streams做同樣的事情在java）是map每個從列表中GroupClass這樣的：

val query =spark.sql("select url,sourceip,destinationip from traffic_data") 
val list = query.collectAsList(); 
val mappedList = list.map { 
    case Row(url: String,sourceip: String,destinationip: String) => 
    GroupClass(url, sourceip, destinationip) 
} 

我認爲所有的屬性（URL，SOURCEIP，destinationip）具有String

你必須創建GroupedClass：

GroupClass(url: String,sourceip: String,destinationip: String) 

希望它可以幫助

Answer 3

你應該使用此編碼器

Dataset schools = context 
.read() 
.json("/schools.json") 
.as(Encoders.bean(University.class)); 

更多信息可以在這裏找到https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html 或這裏https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-sql-Encoder.html