獲取DataFrame的當前分區數

Question

有什麼方法可以獲取DataFrame的當前分區數？ 我檢查了DataFrame javadoc（spark 1.6），並沒有找到一個方法，或者我只是錯過了它？ （對於JavaRDD，有一個getNumPartitions（）方法）。

Answer 1

您需要在DataFrame的基礎RDD上調用getNumPartitions()，例如df.rdd.getNumPartitions()。

Answer 2

轉換爲RDD然後拿到分區長度

DF.rdd.partitions.length 

Answer 3

val df = Seq(
    ("A", 1), ("B", 2), ("A", 3), ("C", 1) 
).toDF("k", "v") 

df.rdd.getNumPartitions