SparkR - 從數據幀列（數值類型）生成分位數

Question

我在探索SparkR以計算CSV文件（位於S3中）中數字列的分位數。 我可以解析CSV文件並打印文檔並訪問列。但不知道如何生成分位數。任何幫助，將不勝感激。 PS：R具有內置函數來計算內置數據幀中的分位數（不在SparkR數據幀上）。

Answer 1

如果您打開的是不使用SparkR的Spark + R答案，則可以使用帶有dplyr.spark.hive後端的dplyr。

mtcars_db %>% mutate(q = quantile(mpg, .3)) 
Source: Spark at:localhost:10000 
From: <derived table> [?? x 12] 

    mpg cyl disp hp drat wt qsec vs am gear carb  q 
    (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) 
1 21.0  6 160.0 110 3.90 2.620 16.46  0  1  4  4 15.68 
2 21.0  6 160.0 110 3.90 2.875 17.02  0  1  4  4 15.68 
3 22.8  4 108.0 93 3.85 2.320 18.61  1  1  4  1 15.68 
4 21.4  6 258.0 110 3.08 3.215 19.44  1  0  3  1 15.68 
5 18.7  8 360.0 175 3.15 3.440 17.02  0  0  3  2 15.68 
6 18.1  6 225.0 105 2.76 3.460 20.22  1  0  3  1 15.68 
7 14.3  8 360.0 245 3.21 3.570 15.84  0  0  3  4 15.68 
8 24.4  4 146.7 62 3.69 3.190 20.00  1  0  4  2 15.68 
9 22.8  4 140.8 95 3.92 3.150 22.90  1  0  4  2 15.68 
10 19.2  6 167.6 123 3.92 3.440 18.30  1  0  4  4 15.68 
.. ... ... ... ... ... ... ... ... ... ... ... ... 

其中mtcars_db是火花SQL表

Answer 2

星火2.x的支持的TBL配備了一個approxQuantile功能。如果你設置relativeError爲零，它會給你確切的分位數。

> sdf <- SparkR::createDataFrame(mtcars) 
> quantiles <- approxQuantile(sdf, "mpg", c(0.5, 0.8), relativeError = 0.0) 
> quantiles 
[[1]] 
[1] 19.2 

[[2]] 
[1] 26 

更多細節在這裏： http://spark.apache.org/docs/latest/api/R/approxQuantile.html