StandardScaler返回NaN

Question

ENV：

spark-1.6.0 with scala-2.10.4 

用法：

// row of df : DataFrame = (String,String,double,Vector) as (id1,id2,label,feature) 
val df = sqlContext.read.parquet("data/Labeled.parquet") 
val SC = new StandardScaler() 
.setInputCol("feature").setOutputCol("scaled") 
.setWithMean(false).setWithStd(true).fit(df) 


val scaled = SC.transform(df) 
.drop("feature").withColumnRenamed("scaled","feature") 

代碼爲這裏的例子http://spark.apache.org/docs/latest/ml-features.html#standardscaler

NaN的存在scaled，SC.mean，SC.std

我不瞭解爲什麼StandardScaler甚至可以在mean中做到這一點，或者如何處理這種情況。任何建議表示讚賞。

數據大小爲實木複合地板是1.6GiB，如果有人需要它只是讓我知道

UPDATE：

獲得通過的StandardScaler的代碼，這很可能是的Double當MultivariateOnlineSummarizer精度的問題聚集。

Answer 1

感謝@ zero323

我找到了問題：有一個值等於Double.MaxValue當StandardScaler之列，結果溢出。

簡單地將這些列轉換爲scala.math.BigDecimal作品。

參考這裏：

http://www.scala-lang.org/api/current/index.html#scala.math.BigDecimal