apache-spark-mllib

0熱度

1回答

我正在處理需要使用集羣的數據。我知道Spark框架不會讓我有一個單一的羣集;最小數量的聚類是兩個。我創建了一些虛擬隨機數據來測試我的程序，並且我的程序顯示錯誤的結果，因爲我的KMeans函數正在生成一個集羣！怎麼來的？我不明白。是因爲我的數據是隨機的嗎？我沒有在我的kmeans上指定任何東西。這是處理K均值代碼的一部分： kmeans = new BisectingKMeans(); mod

0熱度

1回答

調用Spark MLlib時出現TypeError LogisticRegressionWithLBFGS.train

我想從Spark MLlib中調用LogisticRegressionWithLBFGS.train，並提供解決多類邏輯迴歸的訓練數據。我的訓練集數據被表示爲： trainingData = sXYdf.rdd.map(lambda x: reg.LabeledPoint(x[0]-1,x[1:])) trainingData.take(2) 的出LabeledPoints（2行）的是：（我

0熱度

2回答

斯卡拉星火MLLib的NoClassDefFoundError

我學習ALS在星火mllib 卜當我嘗試創建評級，以傳遞給ALS.train我得到這個錯誤 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/mllib/recommendation/Rating at java.lang.Class.getDeclaredMethods0(Native Met

1熱度

1回答

如何將normalVectorRDD轉換爲Labeled Point數據？

我正在使用pyspark，我想從Mllib包執行線性迴歸。所以我想生成我自己的（大）數據來比較我的集羣性能與單節點python解釋器。 from pyspark.mllib.random import RandomRDDs u=RandomRDDs.normalVectorRDD(sc, 1000000000, 500) u.take(5) 我得到這個： array([ -1.137874

1熱度

1回答

星火未檢測dateType，不能投stringType到DateType

這裏是我的代碼： import org.apache.spark.sql.SparkSession import org.apache.spark.sql.types._ import org.apache.spark.ml.feature.VectorAssembler object Import { def main(args:Array[String]): Unit ={

1熱度

1回答

星火ML decisiontree分類調用隨機森林方法

我運行下面的代碼，現在，利用從ML庫分類： val decisionTree = new DecisionTreeClassifier().setLabelCol("label").setFeaturesCol("features").setMaxDepth(7).setImpurity("gini") val model = decisionTree.fit(df3) val predict

0熱度

1回答

在Spark Shell中將CSV讀取到Matrix中

我有一個〜1GB的csv文件（但我可以對其他數據類型打開，例如鑲木地板），我想要讀取Spark的5m行和23列，以便我可以將它們相乘以創建一個評分矩陣。在文件的較小版本我目前使用的這個過程： // csv -> array -> Dense Matrix import org.apache.spark.mllib.linalg.{Matrix, Matrices, Dense Matrix}

2熱度

1回答

如何訪問ML管道中基礎模型的參數？

我有一個用LinearRegression處理的DataFrame。如果我做它直接，像下面，我可以顯示模型的細節： val lr = new LinearRegression() val lrModel = lr.fit(df) lrModel: org.apache.spark.ml.regression.LinearRegressionModel = linReg_b22a7bb8840

1熱度

1回答

Spark UnaryTransformer實現失敗，scala.MatchError

我在Spark 1.6.2中實現了UnaryTransformer。這個接口： class myUT(override val uid: String) extends UnaryTransformer[Seq[String], Seq[String], myUT] { ... override protected def createTransformFunc: Seq[String] =>

2熱度

4回答

如何在Spark/Scala中顯示預測，標籤和數據框列？

我在Spark/Scala中執行樸素貝葉斯分類。它似乎工作行，代碼： import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer} import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.LabeledPoint