我在scala Spark中訓練了一個LDA模型。 val lda = new LDA().setK(k).setMaxIter(iter).setFeaturesCol(colnames).fit(data)
lda.save(path)
我檢查了我保存的模型，它包含兩個文件夾：元數據和數據。 然而，當我嘗試這種模式加載到PySpark，我得到了一個錯誤說： model = LDAMod
在隨機森林的Mllib版本中，有可能使用參數categoricalFeaturesInfo 指定具有名義特徵（數值但仍爲分類變量）的列什麼是ML隨機森林？在用戶指南there is an example使用VectorIndexer的類別特徵轉換矢量爲好，但它的寫有「自動識別類別特徵，並對其進行索引」 In the other discussion of the same problem我發現數值
我計算TF和IDF： import argparse
from os import system
### args parsing
parser = argparse.ArgumentParser(description='runs TF/IDF on a directory of
text docs')
parser.add_argument("-i","--input", help
如何將一組任意列轉換爲Mllib矢量？ 基本上，我有我的DataFrame的第一列有一個固定的名稱，然後是一些任意命名的列，每個列中都有Double值。 像這樣： name | a | b | c |
val1 | 0.0 | 1.0 | 1.0 |
val2 | 2.0 | 1.0 | 5.0 |
可以是任何數量的列。我需要獲得以下數據集： final case class Values
我組合了兩個具有不同行數的數據幀。使用cbind.na功能組合qpcR庫組合兩個數據幀。它顯示了在我的本地機器中正確使用spark_apply功能的結果。但是，在集羣模式下，它顯示如下錯誤。 注意：單個數據框顯示集羣和本地的結果。 Error : Error: org.apache.spark.SparkException: Job aborted due to stage failure: Ta