org.apache.spark.sql.Dataset.foreachPartition（）使用Java的示例7

Question

我有org.apache.spark.sql.Dataset並打算遍歷每一行。我看到有方法foreach和foreachPartition，但我沒有看到使用它的文檔或示例。我這裏指的是DOC here

星火2.1

的Java 7

卡桑德拉3.9

有人可以指導我如何通過星火數據集的記錄進行迭代？

Answer 1

這裏的方式，

dataset.foreachPartition(new ForeachPartitionFunction<Row>() { 
      public void call(Iterator<Row> t) throws Exception { 
       while (t.hasNext()){ 

        Row row = t.next(); 
        System.out.println(row.getString(2)); 
       } 
      } 
     }); 

Answer 2

def foreach(func: ForeachFunction[T]): Unit 
(Java-specific) Runs func on each ***element*** of this Dataset. 

def foreach(f: (T) ⇒ Unit): Unit 
Applies a function f to all ***rows***. 

def foreachPartition(func: ForeachPartitionFunction[T]): Unit 
(Java-specific) Runs func on each partition of this Dataset. 

def foreachPartition(f: (Iterator[T]) ⇒ Unit): Unit 
Applies a function f to each partition of this Dataset.