apache-spark-mllib

2熱度

1回答

其實我試圖用ALS從spark-ml隱式評級。我注意到我的訓練模型給出的一些預測是negative或NaN，爲什麼？

1熱度

1回答

如何在SparkContext.wholeTextFiles之後分別處理多個文件？

我想使用wholeTextFiles來讀取文件夾中的所有文件名，並逐個處理它們（例如，我試圖獲得每個數據集的SVD矢量，並且有100集總）。數據保存在由空間分散並排列在不同行（如矩陣）中的.txt文件中。我碰到的問題是，在我用「wholeTextFiles（」路徑與所有文本文件「）」之後，真的很難讀取和解析數據，我不能使用像我這樣的方法僅在讀取一個文件時使用。該方法工作正常，當我只讀一個文件，它

0熱度

1回答

SparkR錯誤（「預測」）

繼ALS示例here ...但在分佈式模式下，例如運行 Sys.setenv("SPARKR_SUBMIT_ARGS"="--master yarn sparkr-shell") spark <- sparkR.session(master = "yarn", sparkConfig = list( spark.driver.memory = "2g",

0熱度

1回答

使用sbt運行MLlib api的Spark運行時錯誤

我想運行下面的代碼使用sbt包和sbt運行。我遇到了一個對我來說沒有意義的運行時錯誤。該代碼在火花外殼上效果很好。執行computeSVD行時發生錯誤。如果該行被註釋掉，程序工作正常。我已經看到MLlib庫的其他API的類似問題。如果有人能夠提供有關問題的見解，這將是非常好的。代碼： package com.sracr.test import org.apache.spark.{SparkC

2熱度

2回答

如何處理spark tree中的決策樹，隨機森林的分類特徵？

我正在嘗試在UCI銀行營銷數據 - >https://archive.ics.uci.edu/ml/datasets/bank+marketing上構建決策樹和隨機森林分類器。數據集中有許多分類特徵（具有字符串值）。在spark ml文檔中，提到可以使用StringIndexer或VectorIndexer通過索引將分類變量轉換爲數字。我選擇使用StringIndexer（矢量索引需要矢量特徵和

2熱度

1回答

什麼是Spark ML中的Param []和Params [] ML

作爲一名統計人員，Spark ML庫中Param和Params類的邏輯讓我困惑不已。由於基礎類PipelineStage extends Params和transformer/estimator（這意味着我的機器學習算法）是子類別PipelineStage。那麼Params是不是一個簡單的類代表一些機器學習參數？而在管道中使用某些參數需要某些家長的要求。我只是很迷茫，這是怎麼出來的...... 對

0熱度

1回答

Spark MLlib中的HashingTF中的numFeatures和文檔中的實際條目數之間的關係是什麼？

有numFeatures之間HashingTF在星火MLlib和術語在文檔（句子）的實際數量的任何關係？ List<Row> data = Arrays.asList( RowFactory.create(0.0, "Hi I heard about Spark"), RowFactory.create(0.0, "I wish Java could use case class

1熱度

1回答

Pyspark ML - 如何保存管道和RandomForestClassificationModel

我無法保存使用ml包python/spark生成的隨機森林模型。 >>> rf = RandomForestClassifier(labelCol="label", featuresCol="features") >>> pipeline = Pipeline(stages=early_stages + [rf]) >>> model = pipeline.fit(trainingData)

3熱度

2回答

pyspark隨機森林功能的重要性：如何從列編號

我使用的是標準的（字符串索引+一個熱編碼器+隨機森林）火花管道得到的列名，如下圖所示 labelIndexer = StringIndexer(inputCol = class_label_name, outputCol="indexedLabel").fit(data) string_feature_indexers = [ StringIndexer(inputCol=x, ou

0熱度

1回答

如何生成個人建議的用戶，排除他評爲斯卡拉正在使用spark MLlib ALS算法的電影？

我目前正在計劃爲MovieLens數據集上的用戶使用ALS算法生成電影推薦一切正常，但有些時候ALS算法會返回已評級的電影，我想從建議中排除它們，建議如下。 `val moviesRatedbyUser = ratings.keyBy(_._2.user).lookup(206547) println("rated movies are" + moviesRatedbyUser) val ca