從列表中星火創建JavaRDD 2.0

Question

從列表中創建JavaRDD的常用方法是使用JavaSparkContext.parallelize(List)

然而，在星火2.0 SparkSession作爲切入點，我不知道如何創建一個JavaRDD從列表中

Answer 1

解決方案：火花殼（火花2.0）

import org.apache.spark.api.java.JavaSparkContext 
val jsc = new JavaSparkContext(sc) 
val javaRDD:java.util.List[Int]= java.util.Arrays.asList(1, 2, 3, 4, 5) 
jsc.parallelize(javaRDD) 

Spark Programming Guide

Answer 2

我有同樣Proble米我做了什麼至今：

爲我做這個

List<String> list = Arrays.asList("Any", "List", "with", "Strings"); 
Dataset<String> listDS = sparkSession.createDataset(list, Encoders.STRING()); 
JavaRDD<String> javaRDDString = listDS.toJavaRDD(); 

一個原因是，例如，我想用flatMap的正常工作與JavaRDD<String>但與Dataset<String>

希望這有助於。