apache-spark-ml

1熱度

1回答

如何轉換org.apache.spark.mllib.linalg.SparseVector至org.apache.spark.ml.linalg.SparseVector？

怎麼把轉換成org.apache.spark.ml.linalg.SparseVector？我將代碼從mllib轉換爲ml api。 import org.apache.spark.mllib.linalg.{DenseVector, Vector} import org.apache.spark.ml.linalg.{DenseVector => NewDenseVector, Vecto

-2熱度

1回答

pyspark.sql.utils.IllegalArgumentException：u'Field「功能」不存在。

我正在嘗試使用交叉驗證來執行隨機森林分類器並評估模型。我使用pySpark工作。輸入的CSV文件作爲Spark DataFrame格式加載。但我在構建模型時遇到了一個問題。以下是代碼。 from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.ml import Pipeline fr

1熱度

2回答

如何壓扁結構數組的列（由Spark ML API返回）？

也許這只是因爲我對API相對來說比較陌生，但我覺得Spark ML方法通常會返回不必要的難以處理的DF。這一次，這是讓我絆倒的ALS模型。具體來說，就是recommendForAllUsers方法。讓我們重建DF的類型，它將返回： scala> val arrayType = ArrayType(new StructType().add("itemId", IntegerType).add("r

2熱度

1回答

Spark：將Scala ML模型加載到PySpark

我在scala Spark中訓練了一個LDA模型。 val lda = new LDA().setK(k).setMaxIter(iter).setFeaturesCol(colnames).fit(data) lda.save(path) 我檢查了我保存的模型，它包含兩個文件夾：元數據和數據。然而，當我嘗試這種模式加載到PySpark，我得到了一個錯誤說： model = LDAMod

0熱度

2回答

如何將Spark數據框列從Array [Int]轉換爲linalg.Vector？

我有一個數據幀，DF，看起來像這樣： +--------+--------------------+ | user_id| is_following| +--------+--------------------+ | 1|[2, 3, 4, 5, 6, 7] | | 2|[20, 30, 40, 50] | +--------+--------------------+ 我可

0熱度

1回答

隨機森林使用pyspark.ml爲Dataframes

我想建立使用dataframes pyspark.ml庫（不mllib爲RDD）隨機森林分類。我是否必須使用文檔中給出的管道？我只是想建立一個簡單的模型， rf = RandomForestClassifier(labelCol = labs, featuresCol = rawdata) 我碰到下面的錯誤 Traceback (most recent call last): F

0熱度

1回答

Spark ml streaming predictOnValues如何保存結果？

我有以下代碼： StreamingLinearRegressionWithSGD regressionWithSGD = new StreamingLinearRegressionWithSGD() .setInitialWeights(Vectors.zeros(featuresNumber)); JavaDStream<LabeledPoint> trainin

0熱度

1回答

PySpark中的ParamGridBuilder無法與LinearRegressionSGD配合使用

我試圖弄清楚爲什麼LinearRegressionWithSGD不適用於Spark的ParamGridBuilder。從火花文檔： lr = LinearRegression(maxIter=10) paramGrid = ParamGridBuilder()\ .addGrid(lr.regParam, [0.1, 0.01]) \ .addGrid(lr.fitIntercept, [F

0熱度

1回答

java.lang.NoSuchMethodError：breeze.linalg.tile $ .tile_DM_Impl2

我有一個使用breeze的spark代碼。我可以選擇我的項目的微風版本： $ gradle dependencies | grep breeze | | +--- org.scalanlp:breeze_2.11:0.12 | | | +--- org.scalanlp:breeze-macros_2.11:0.12 +--- org.scalanlp:breeze_

2熱度

1回答

錯誤從數據幀傳遞數據時到現有的ML VectorIndexerModel

我有欲與現有模型預測用數據幀。使用模型的變換方法時出現錯誤。這是我如何處理trainingdata。 forecast.printSchema() 我的數據框的模式： root |-- PM10: double (nullable = false) |-- rain_3h: double (nullable = false) |-- is_rain: double (nullable