當在簇中處理時,是否可以將驅動程序節點中的spark程序結果的輸出寫入? df = sqlContext("hdfs://....")
result = df.groupby('abc','cde').count()
result.write.save("hdfs:...resultfile.parquet", format="parquet") # this works fine
res
我正在使用Java中的newAPIHadoopRDD來讀取MongoDB集合。 首先,我創建使用下面的類JavaSparkContext對象: public class SparkLauncher {
public JavaSparkContext javaSparkContext ;
public SparkLauncher()
{
javaSpark