如何在Apache Flink中將Scala DataSet傳遞給Java類

Question

我是Scala中的新成員。所以我想在Java中處理Apache Flink的DataSet。但我有一個Scala代碼中的DataSet，我想在Java Class的方法中傳遞。 例如： 在斯卡拉：

val dS: DataSet[Vector] = ... 
SampleJavaClass.sendDS(ds) 

在SampleJavaClass.java有像sendDs(DataSet<Vector> javaDs)

我想這樣做，但一個方法顯示錯誤消息： 類型不匹配;實測值：

org.apache.flink.api.scala.DataSet [org.apache.flink.ml.math.Vector] 需要：org.apache.flink.api.java.ExecutionEnvironment錯誤 發生在涉及默認參數的應用程序。

我該如何解決這個問題。請幫助我。

Answer 1

Scala DataSet的確是圍繞Java DataSet的封裝。但是，由於方法javaSet是封裝私有的，因此您無法訪問它。因此，目前將Scala DataSet轉換爲Java DataSet的方式只是一種非常不好的方式。

爲了訪問javaSet方法，您必須將您的軟件包定義爲org.apache.flink的子軟件包。儘管如此，這並不是最佳實踐。

如果這是一個嚴格要求的功能，您應該爲其提供一個JIRA ticket。

Answer 2

Flink中有兩個DataSet類別java one https://ci.apache.org/projects/flink/flink-docs-master/api/java/index.html?org/apache/flink/api/scala/DataSet.html和scala one。您可以通過javaSet（）從底層scala DataSet訪問java。

我會嘗試

SampleJavaClass.sendDS(ds.javaSet()) 

可能安撫你的代碼。