apache-spark-mllib

-1熱度

1回答

火花scala中的java.lang.NumberFormatException錯誤

我是新來的火花和機器學習，所以爲了練習，我試圖在spark 1.6.0中使用數據集編寫k-means算法。我按照apache spark網站上的示例中的說明進行操作。，而這樣做，所以我得到這個錯誤： java.lang.NumberFormatException: For input string: "2014-03-15:10:10:20,Sorrento,8cc3b47e-bd01-448

1熱度

1回答

什麼是ALS.train（）中的rank，numIteraions和lambda？

我是新來的機器學習火花。我正在試驗協作過濾使用ALS算法。在這個算法中，我需要一些關於rank，numIterations和lambda的參數，這些參數用於訓練算法。我需要知道如何調整最小和最大的數據集的算法，以產生改進的預測。有人可以解釋這一點嗎？

0熱度

1回答

如何在Spark中使用LogisticRegressionWIthLBFGS和Dataframe

我希望在設計使用ML算法和數據框的程序中使用MLLIB LogisticRegressionWithLBFGS。有沒有一種簡單的方法來將我的數據框轉換爲RDD而無需再次編寫新程序？像這樣的東西不起作用： df3.cache() val model = new LogisticRegressionWithLBFGS().run(df3.rdd) val predictions = model

0熱度

1回答

無法將數據幀轉換爲標記點

我的程序使用Spark.ML，我在數據框上使用邏輯迴歸。不過，我也想使用LogisticRegressionWithLBFGS，所以我想將我的數據框轉換爲LabeledPoint。下面的代碼給我一個錯誤 val model = new LogisticRegressionWithLBFGS().run(dff3.rdd.map(row=>LabeledPoint(row.getAs[Double

0熱度

1回答

如何將ML模型轉換爲MLlib模型？

使用基於星火RDD API（mllib包）1.5.2我已經訓練機器學習模型說「Mymodel123」， org.apache.spark.mllib.tree.model.RandomForestModel Mymodel123 = ....; Mymodel123.save("sparkcontext","path"); 現在我使用的Spark數據集基於API（ML封裝）2.2.0。有沒

0熱度

1回答

嘗試在Apache Spark中爲分類模型實現predictRaw（）

開發者API示例（https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DeveloperApiExample.scala）給出了分類模型中函數predictRaw（）的簡單實現示例。這是抽象類ClassificationModel中必須在具體類中實現的功能。

1熱度

3回答

使用保存的Spark模型評估新數據

我已經成功地將我的數據轉換爲LibSVM文件，並在Spark的MLlib軟件包中對其進行了決策樹模型的培訓。我用Scala代碼在the 1.6.2 documentation，只改變文件名： import org.apache.spark.mllib.tree.DecisionTree import org.apache.spark.mllib.tree.model.DecisionTreeMo

2熱度

1回答

決策樹星火負荷數據 - LabelledPoint

更改標籤我嘗試做在https://spark.apache.org/docs/latest/mllib-decision-tree.html 在火花決策樹的例子中，我從http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html#a1a 數據集是在LIBSVM格式下載A1A數據集，其中兩個班有標籤+1.0 -1.0 當我嘗試

0熱度

1回答

如何導入CSV或TXT文件

我在與來自文檔星火Mllib代碼（https://spark.apache.org/docs/latest/ml-collaborative-filtering.html）這部分的問題，採用CSV或TXT文件時，設置星火數據集編碼： val ratings = spark.read.textFile("data/mllib/als/sample_movielens_ratings.txt")

1熱度

2回答

如何計算Apache Spark中兩個分佈式RowMatrix的點積？

讓Q是一個分佈式的行矩陣中的星火，我想計算的Q跨產品與它的轉Q'。儘管行矩陣確實有一個multiply()方法，但它只能接受局部矩陣作爲參數。碼圖（斯卡拉）： val phi = new RowMatrix(phiRDD) // phiRDD is an instance of RDD[Vector] val phiTranspose = transposeRowMatrix(phi)