apache-spark-mllib

1熱度

1回答

Spark - Prediction.io - scala.MatchError：null

我正在研究prediction.io的模板，我遇到了Spark的麻煩。我不斷收到一個錯誤scala.MatchError：full gist here scala.MatchError: null at org.apache.spark.rdd.PairRDDFunctions.lookup(PairRDDFunctions.scala:831) at org.apache.spark.ml

12熱度

2回答

與MLlib一起使用DataFrame

假設我有一個DataFrame（我從HDFS上的csv讀入），我想通過MLlib來訓練一些算法。如何將行轉換爲LabeledPoints或以其他方式將MLlib用於此數據集？

1熱度

2回答

使用MLib的Apache Spark中的分類變量

我對Apache Spark的世界比較陌生。我正在嘗試使用LinearRegressionWithSGD（）估計大型模型，我希望估計固定效果和交互項，而無需創建巨大的設計矩陣。我注意到，有在DecisionTree https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/tre

0熱度

2回答

AbstractMethodError樣品MLIB程序

我試圖建立在Java的Apache的火花樣品MLIB推薦http://spark.apache.org/docs/1.2.1/mllib-collaborative-filtering.html#examples樣本推薦我得到，但是當我建立它（在的IntelliJ IDEA）的輸出日誌顯示螺紋異常「主」 java.lang.AbstractMethodError at org.apache.sp

2熱度

1回答

Spark MLLIB問題

我正在調查Spark-mllib的源代碼，並且我注意到所有源代碼都是scala，而不是java。 scala通常使用比Java更多的資源嗎？爲什麼這裏的ML引擎是用scala編寫的，而不是Java？我在這裏錯過了什麼嗎？此外，Eclipse月神似乎有麻煩協調最新版本的斯卡拉？人們會推薦哪個IDE用scala模塊構建spark代碼？非常感謝！

3熱度

4回答

將Spark org.apache.spark.mllib.linalg.Matrix保存爲文件

Spark MLLib中的相關結果是org.apache.spark.mllib.linalg.Matrix類型的結果。（見http://spark.apache.org/docs/1.2.1/mllib-statistics.html#correlations） val data: RDD[Vector] = ... val correlMatrix: Matrix = Statistic

4熱度

1回答

Spark MLlib/K-Means直覺

我對機器學習算法和Spark非常陌生。我跟着 Twitter的數據流語言分類在這裏找到： http://databricks.gitbooks.io/databricks-spark-reference-applications/content/twitter_classifier/README.html 具體驗證碼： http://databricks.gitbooks.io/databrick

1熱度

1回答

在Scala中運行時錯誤：NoSuchMethodError

我想在eclipse中使用Scala語言中的Spark MLlib算法。編譯期間沒有問題，運行時出現錯誤，說「NoSuchMethodError」。這裏是我的代碼#Copied import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.mllib.linalg.

11熱度

4回答

什麼是保存在星火\ PySpark

\負荷模型我使用PySpark和MLlib星火1.3.0工作的正確方法，我需要保存和載入我的模型。我用這樣的代碼（來自官方documentation拍攝） from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating data = sc.textFile("data/mllib/als/test.d

2熱度

1回答

如何在Spark中使用Java組合或合併兩個稀疏向量？

我使用了Java的API，即Apache-Spark 1.2.0，並創建了兩個解析向量，如下所示。 Vector v1 = Vectors.sparse(3, new int[]{0, 2}, new double[]{1.0, 3.0}); Vector v2 = Vectors.sparse(2, new int[]{0, 1}, new double[]{4,5}); 我怎樣才能通過組