apache-spark-ml

1熱度

3回答

Spark | ML |隨機森林|從RandomForestClassificationModel的.txt加載訓練好的模型。 toDebugString

使用星火1.6和ML庫我使用toDebugString()節約了訓練的RandomForestClassificationModel結果： val rfModel = model.stages(2).asInstanceOf[RandomForestClassificationModel] val stringModel =rfModel.toDebugString //save string

1熱度

2回答

我們是否可以更新火花毫升中的現有模型？

有一天，我們用火花毫升建立從現有的數據模型，以後我們有更多的數據每天都會到來。有沒有一種方法可以只讀取新數據並更新現有模型，而無需每次都讀取所有數據？謝謝...

0熱度

1回答

如何在pyspark.ml.regression.LinearRegressionModel中使用L1懲罰進行特徵選擇？

首先，我使用spark 1.6.0。我想在pyspark.ml.regression.LinearRegressionModel中使用L1懲罰進行特徵選擇。但我不能得到詳細的係數調用函數時： lr = LogisticRegression(elasticNetParam=1.0, regParam=0.01,maxIter=100,fitIntercept=False,standardizati

2熱度

1回答

轉換稀疏向量以密集向量在Pyspark

我有這樣 >>> countVectors.rdd.map(lambda vector: vector[1]).collect() [SparseVector(13, {0: 1.0, 2: 1.0, 3: 1.0, 6: 1.0, 8: 1.0, 9: 1.0, 10: 1.0, 12: 1.0}), SparseVector(13, {0: 1.0, 1: 1.0, 2: 1.0, 4: 1

1熱度

4回答

使用python序列化一個使用python的Pyspark ML流水線

我在Create a custom Transformer in PySpark ML的註釋部分找到了相同的討論，但是沒有明確的答案。還有一個未解決的JIRA對應於：https://issues.apache.org/jira/browse/SPARK-17025。鑑於Pyspark ML管道沒有提供用於保存用python編寫的自定義轉換器的選項，有哪些其他選項可以完成它？如何在我的python

10熱度

1回答

如何從DataFrame將數據準備到LibSVM格式？

我想製作libsvm格式，所以我將dataframe製作成所需的格式，但我不知道如何轉換爲libsvm格式。格式如圖所示。我希望所需的libsvm類型是用戶項目：評分。如果您知道在當前形勢下做什麼： val ratings = sc.textFile(new File("/user/ubuntu/kang/0829/rawRatings.csv").toString).map { line =>

0熱度

1回答

VectorSlicer如何在Spark 2.0中工作？

在火花正式文件， VectorSlicer是變壓器，需要一個特徵矢量，並輸出與原來的特徵的子陣列的新的特徵向量。它對從矢量列中提取特徵非常有用。這是否從一組功能的重要特點是什麼？如果是這種情況，如何不提及因變量？我正在嘗試執行數據集羣，我需要重要的功能，這將有助於更好的集羣。我可以使用VectorSlicer嗎？

0熱度

2回答

使用VectorAssembler處理動態列

使用sparks向量彙編程序需要預先定義要組合的列。但是，如果在管道中使用矢量彙編程序，其中前面的步驟將修改數據幀的列，那麼如何指定列而無需手動硬編碼所有值？如df.columns將不包含正確的值時，調用構造函數矢量彙編的目前我沒有看到另一種方式來處理或拆分管道 - 這是壞的，以及因爲CrossValidator將不再正常工作。 val vectorAssembler = new Vector

0熱度

1回答

Spark機器學習AST比較

我是機器學習的新手，但我正試圖研究是否可以使用機器學習來比較源代碼的兩個AST（抽象語法樹）以查明它們是否相似。理想情況下，使用某些數據集進行一些訓練，並對任意兩個給定的AST進行同步以找出相似之處。此處有任何建議嗎？

0熱度

1回答

格式化數據火花ML

我是新的火花和火花ML。我使用函數KMeansDataGenerator.generateKMeansRDD生成了一些數據，但是我在格式化這些數據時失敗，以至於可以使用ML算法（這裏是kmeans）。該錯誤是異常在線程「主」 java.lang.IllegalArgumentException異常：數據類型數組類型（DoubleType，假）不被支持。它使用VectorAssembler