在火花傳輸中寫入處理文件

Question

我正在使用Spark流（在java中）使用來自Kafka的消息。我已經在rdd上做了一些處理。現在，我應該把這個處理過的信息（字符串）寫到s3上的一個文件中。我如何實現這一目標？

directKafkaStream.map(message -> recordInjection.invert(message._2).get()).foreachRDD(rdd -> { 
       rdd.foreach(record -> { 
    // processing each record, storing the processed info in a string. 
    // write each processed record (string) to s3 
    }); 
}); 

Answer 1

你可以用RDD.saveAsTextFile（ 「S3A：//bucket/path/file.avro」），雖然你可能會發現自己創造了許多，許多小文件。