星火與EMR

Question

OpenBLAS我不斷收到嘗試在EMR實例運行在星火2.1.0的MlLib ALS算法時，臭名昭著的警告：

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

我設法解決我的本地Ubuntu的機器上的問題通過重建Spark將netlib-java與-Pnetlib-lgpl標誌一起使用，但有沒有辦法避免重建默認的EMR Spark版本？我目前正試圖通過建立與SBT組裝脂肪JAR，把下面的依賴，以規避它：

libraryDependencies += "com.github.fommil.netlib" % "all" % "1.1.2"

雖然組裝成功，BLAS警告仍然不運行時火花消失提交。我在EMR上安裝了openblas和lapack。

Answer 1

好了，這似乎是不可能與一個胖JAR做的，所以我建星火自定義分配我的本地機器上進行如下：

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 
./dev/make-distribution.sh --name spark --tgz -Phadoop-2.7 -Phive -Phive-thriftserver -Pnetlib-lgpl -Pkinesis-asl -Pspark-ganglia-lgpl 

並取代了/ usr/lib目錄/火花目錄上EMR與我的構建。那就是訣竅。