apache-spark-ml

0熱度

1回答

我有一個LinearRegression模型受過歷史數據的訓練，現在我試圖在新數據上重複使用同一模型來進行預測。我知道我們可以分別使用model.save和LinearRegression.load方法保存和加載模型，但是，我無法找到一種方法將新數據傳遞到加載模型進行預測。代碼，用於創建和培訓模型粘貼如下： val assembler = new VectorAssembler().setIn

4熱度

1回答

帶點火花的列名稱

我試圖從DataFrame取得列並將其轉換爲RDD[Vector]。的問題是，我已經列在他們的名字一個「點」爲以下數據集： "col0.1","col1.2","col2.3","col3.4" 1,2,3,4 10,12,15,3 1,12,10,5 這是我在做什麼： val df = spark.read.format("csv").options(Map("header" ->

0熱度

1回答

PySpark ML特徵變換，調用fit/transform方法兩次或覆蓋它？

我們可以使用Spark-ML庫中提供的各種預處理類。 from pyspark.ml.feature import StringIndexer, VectorIndexer,VectorAssembler labelIndexer = StringIndexer(inputCol = label_name, outputCol="indexedLabel") string_feature_i

3熱度

1回答

如何將KMeans模型性能與pyspark中的GaussianMixture和LDA模型性能進行比較？

我正在使用pyspark.ml.clustering庫來處理虹膜數據集，以便了解pyspark的基本原理併爲我創建一個聚類模板。我的火花版本是2.1.1，我有hadoop 2.7。我知道KMEANS和BisectingKMeans有computeCost（）方法，給出了基於輸入點及其相應的聚類中心之間的距離平方之和模型的性能。有沒有辦法將KMeans模型性能與虹膜數據集上的GaussianM

0熱度

1回答

使用Java的Spark MLlib分類輸入格式

如何將變換爲DTO列表爲Spark ML輸入數據集格式？我DTO： public class MachineLearningDTO implements Serializable { private double label; private double[] features; public MachineLearningDTO() { }

0熱度

2回答

java.lang.IllegalArgumentException：需求失敗：列功能必須是類型org.apache.spark.ml.linalg.VectorUDT

我是非常新的Spark機器學習（2天大）我在Spark中執行下面的代碼殼牌我試圖預測某個值，我看到在＃1提供這個錯誤後，但我不能夠再修復我的代碼以適當的解決方案，以便張貼問題爲同一輸入數據的道歉： 1.00,1.00,9.00 1.00,2.00,10.00 1.00,3.00,9.00 1.00,4.00,9.00 1.00,5.00,9.00 1.00,6.00,9.45 1.0

1熱度

1回答

如何在新的Spark ml庫中的K-Means中設置epsilon

在spark.mllib庫中，KMeans具有在構建Kmeans實例時設置epsilon參數的函數。但是我沒有在Kmeans新的Spark.ml庫中看到任何函數來設置這個參數。我所問的原因是因爲新KMeans生成的簇的數量少於我在setK（）方法中指定的簇的數量，所以我想通過減少epsilon一點來增加生成的簇的數量。有誰知道如何在新的Spark.ml Kmeans類中設置epsilon？ o

0熱度

1回答

如何提供多列到setInputCol（）

我是非常新的Spark機器學習我想要傳遞多個列的功能，在我的下面的代碼中，我只是將日期列傳遞給功能，但現在我想通過Userid和日期列到要素。我試圖用向量，但它僅支持雙數據類型，但在我的情況下，我有int和string 我會感激，如果任何人提供任何建議/解決方案或任何代碼示例，這將滿足我的要求代碼： case class LabeledDocument(Userid: Double, Date:

0熱度

2回答

火花ML編寫自定義模式，變壓器

這是星火2.0.1 我試圖編譯和here使用SimpleIndexer例子。 val df = Seq( (10, "hello"), (20, "World"), (30, "goodbye"), (40, "sky") ).toDF("id", "phrase") val si = new SimpleIndexer().setInputCol("p

1熱度

1回答

星火ML管道與隨機森林時間過長上20MB的數據集

我使用星火ML運行一些ML實驗，以及20MB（Poker dataset）和隨機森林與參數網格的小數據集，它需要1小時30分完。與scikit學習類似，它需要少得多。在環境方面，我用2個奴，15GB存儲器中的每個，24個核心測試。我認爲它不應該花那麼長時間，我想知道問題出在我的代碼中，因爲我對Spark很新。這就是：提前 df = pd.read_csv(http://archive.ics.