JavaPairRDD到數據幀中的Apache火花用java

Question

我有一些文檔文件，我試圖讀取數據，然後用索引拉鍊使用zipWithIndex（）函數如下：

JavaRDD<String> rawTextRDD = sc.textFile("demo.txt"); 
    JavaPairRDD<String, Long> zipIndex = rawTextRDD.zipWithIndex(); 

zipIndex的該值之後，含有JavaPairRDD鍵值對，看起來像[「這是美麗的圖片」，0]，[「這是另一張圖片」，1]。

但現在，我想zipIndex轉換成數據幀使用：

DataFrame docDF = sqlContext.createDataFrame(zipIndex, TextId.class); 

功能createDataFrame不接受參數zipIndex（文本ID是2屬性的類：字符串文字和int的docId）。

我在斯卡拉也有一個代碼，它運行得非常好。請參考：

val rawTextRDD = sc.textFile("demo.txt") 
val docDF = rawTextRDD.zipWithIndex.toDF("text", "docId") 

如果有任何解決方案。請幫我解決。謝謝

Answer 1

試試這個：DataFrame docDF = sqlContext.createDataFrame（zipIndex.values（），TextId.class）;