我正在使用Spark Scala ML API,我試圖將管道ALS模型傳遞給TrainValidationSplit。該代碼執行,但我無法檢索最佳參數......想法? val alsPipeline = new Pipeline().setStages(Array(idIndexer , modelIndexer, als))
val paramGrid = new ParamGridBui
嗨,我正在使用Spark ML來訓練模型。訓練數據集有130列和1000萬行。現在的問題是,每當我運行多層感知器它顯示了以下錯誤: org.apache.spark.SparkException: Job aborted due to stage failure: Task 43 in stage 1882.0 failed 4 times, most recent failure: Lost t
我希望將交叉驗證應用於LDA算法以確定主題數量(K)。 我的疑問是關於評估者,因爲我希望使用對數似然。創建交叉驗證時,我在.setEvaluator(????)上設置了什麼? // Define a simple LDA
val lda = new LDA()
.setMaxIter(10)
.setFeaturesCol("features")
// We use a