如何創造來自字符串

列表的DSTREAM我有串的名單，但我不能找到一個辦法列表改爲火花流的DSTREAM。我嘗試這樣做：如何創造來自字符串

val tmpList = List("hi", "hello")  
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList)) 
val rowRdd = rdd.map(v => Row(v: _*))

但日食說sparkContext不是sqlContext的一員，所以，我怎麼能這樣做呢？感謝您的幫助，請。

來源

2016-10-27 pauly

DSTREAM是RDD的順序，當你有，如果你想從RDD的，你可以做的列表中創建DSTREAM是如下寄存器接收像Kafka.For測試一些流源則創建：

val rdd1=sqlContext.sparkContext.parallelize(Seq(tmpList)) 
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1)) 
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它回答你的問題

來源

2016-10-27 04:43:55

感謝您的回答，我很新的火花，我真的不明白你的答案。你說：從RDD列表創建DStream。但是，我怎樣才能得到一個字符串列表的RDD列表，因爲我不確定我寫在問題中的代碼是寫入。 – pauly

謝謝，我重寫了代碼：val sparkContext = new SparkContext（sparkConf） val rdd = sparkContext.parallelize（coutList） val resultInputStream = ssc.queueStream（scala.collection.mutable.Queue（rdd）） val results = resultInputStream.map（x => x），sqlContext是類org.apache.spark.sql.SQLContext的對象嗎？以及我寫的代碼是否寫入？ – pauly

是其正確的 –

如何創造來自字符串

回答

相關問題