apache-spark-ml

0熱度

1回答

星火斯卡拉API：在正式例如沒有在spark.createDataFrame可用typeTag

我剛開始與MLIB爲星火工作，並試圖運行提供的例子，更具體https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DCTExample.scala 但是，使用的IntelliJ IDE編譯失敗消息 Error:(41, 35) No TypeTag availa

0熱度

1回答

隨機森林clasification：如何從「probabilityCol」推斷類概率

背景：我對數據幀爲[0,1]上運行的隨機森林分類與標籤類。我的目標是從probabilityCol列中提取標籤「1」的概率。作爲每spark ml docs， probabilityCol長度＃類等於rawPrediction的向量歸一化到一個多項式分佈問題：向量中的目標類的排序是probabilityCol？我們甚至可以確定一樣嗎？我想提取一個給定類的可能性（在我的情況下是'1'），推薦

3熱度

1回答

Spark - Spark JobServer的基於請求的實時推薦？

我們試圖找到加載Spark（2.x）ML訓練模型的方法，以便根據請求（通過REST接口）我們可以查詢它並獲得預測結果，例如， http://predictor.com:8080/give/me/predictions?a=1,b=2,c=3 有一些開箱即可將模型加載到Spark中（因爲它存儲在使用MLWritable進行訓練之後的某處），然後將其用於預測，但似乎矯枉過正將它包裝在作業中並運行每次請

1熱度

2回答

如何將scala矢量轉換爲spark ML矢量？

我有一個類型scala.collection.immutable.Vector的矢量圖，並且想將其轉換爲類型爲org.apache.spark.ml.linalg.Vector的矢量。例如，我想要類似以下的東西; import org.apache.spark.ml.linalg.Vectors val scalaVec = Vector(1,2,3) val sparkVec = Vect

0熱度

2回答

如何獲取PySpark中估計器的所有參數

我有一個RandomForestRegressor,GBTRegressor，我想獲取它們的所有參數。 from pyspark.ml.regression import RandomForestRegressor, GBTRegressor est = RandomForestRegressor() est.getMaxDepth() est.getSeed() 但RandomFore

0熱度

1回答

Word2Vec模型存儲模型的單聲部

val model: org.apache.spark.ml.feature.Word2VecModel = new Word2Vec().setNumPartitions(20).setInputCol("value").setOutputCol("feature").fit(copus) word2VecModel.save(s"$HDFS_URL/w2vmodel") 當我保存這個模型

2熱度

1回答

Apache Spark中的Jaro-Winkler分數計算

我們需要在Apache Spark中實現跨字符串的Jaro-Winkler距離計算數據集。我們是新來的火花，並在網絡搜索後，我們無法找到很多東西。如果你能指導我們，那將是非常棒的。我們認爲使用flatMap然後意識到它不會幫助，那麼我們試圖使用foreach循環，但不能夠如何前進。因爲每個字符串必須與所有字符串進行比較。就像在下面的數據集中一樣。 RowFactory.create(0, "Hi

9熱度

2回答

在線學習Spark中的LDA模型

有沒有一種方法可以在線學習的方式來訓練LDA模型，加載以前的火車模型，並用新文檔更新它？

0熱度

1回答

Kmeans Spark ML

我想使用Spark ML來執行KMeans。輸入是LIBSVM數據集： val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() // Start time //val intial_Data=spark.read.option("header",true).cs

3熱度

1回答

如何獲得spark-ml CrossValidatorModel中最佳邏輯迴歸的係數？

我使用logistic迴歸和spark-ml管道訓練一個簡單的CrossValidatorModel。我可以預測新的數據，但我想超越的黑盒子，做係數 val lr = new LogisticRegression(). setFitIntercept(true). setMaxIter(maxIter). setElasticNetParam(alpha).