apache-spark-mllib

4熱度

1回答

我想通過組（School_ID，超過3千）在使用Spark Scala API的大型模型輸入csv文件上構建隨機森林模型。每個組包含大約3000-4000條記錄。我擁有的資源是20-30 aws m3.2xlarge的實例。在R，我可以按組構建模型，並將其保存到列表像這個 - library(dplyr);library(randomForest); Rf_model <- train

1熱度

1回答

spark pyspark mllib模型 - 當使用map生成預測rdd時，它會在collect上拋出異常（）

我正在使用spark 1.2.0（無法升級，因爲我沒有控制權）。我使用mllib建立一個模型 points = labels.zip(tfidf).map(lambda t: LabeledPoint(t[0], t[1])) train_data, test_data = points.randomSplit([0.6, 0.4], 17) iterations = 3 model =

0熱度

1回答

Spark矢量RDD創建不收集到驅動程序

我有一個RDD [（User，Item，Count/Rating）]，我想將它轉換爲RDD [Vector（ItemRatings）]，其中每個Vector是該項目的評分在用戶空間。有沒有辦法做到這一點，而不先收集驅動程序？我目前使用的是Datastax 4.7，Spark 1.2.1。謝謝！

1熱度

1回答

使用PySpark進行ALS培訓引發StackOverflowError

當試圖在Spark的MLLib（1.4）中使用ALS在Windows上訓練機器學習模型時，Pyspark始終以StackoverflowError爲終止。我試圖按照https://stackoverflow.com/a/31484461/36130中描述的方式添加檢查點 - 似乎沒有幫助（雖然每次運行都會創建一個新目錄，但它總是空的）。這裏的訓練碼和堆棧跟蹤： ranks = [8, 12]

0熱度

2回答

Spark Chi-Square特性選擇性能

Spark ChiSqureSelector算法存在一些性能問題。我實現如下功能選擇： private JavaRDD<LabeledPoint> chiSqure(JavaRDD<LabeledPoint> orginalData, int k) { ChiSqSelector selector = new ChiSqSelector(k); transformer = s

3熱度

3回答

在Spark中預測類概率RandomForestClassifier

我使用ml.classification.RandomForestClassifier構建隨機森林模型。我試圖從模型中提取預測概率，但我只看到預測類而不是概率。根據此issue link，問題得到解決，並導致此github pull request和this。但是，它似乎已經在1.5版本中解決了。我使用的是提供Spark 1.4.1的AWS EMR，而且不知道如何獲得預測概率。如果有人知道如何去做

4熱度

1回答

如何保存IDFmodel與PySpark

我公司生產的IDFModel與PySpark和IPython的筆記本如下： from pyspark import SparkContext from pyspark.mllib.feature import HashingTF from pyspark.mllib.feature import IDF hashingTF = HashingTF() #this will be used

5熱度

1回答

星火MLlib - 培訓協作過濾與隱式反饋 - 奇怪的警告

我試圖建立在用戶訂單Collaborative filtering模型，並得到了一些有用的結果與ALS.train()，但我想嘗試ALS.trianImplicit()但trianImplicit()被預測在同一數據集只是零哪些ASL.train()我得到了不錯的預測。當使用ALS.trianImplicit()訓練我得到以下警告型號： 15/09/01 15:39:29 WARN BLAS:

0熱度

1回答

在mllib中使用L2正則化的SGD

我在閱讀使用L2正則化的SGD的開源mllib代碼時遇到困難。的代碼是 class SquaredL2Updater extends Updater { override def compute( weightsOld: Vector, gradient: Vector, stepSize: Double, iter: Int, regParam

4熱度

1回答

MLlib MatrixFactorizationModel recommendProducts（用戶，NUM）未能對一些用戶

我訓練使用ALS.train()現在使用model.recommendProducts(user, num)讓高層推薦產品MatrixFactorizationModel模型，但是代碼失敗，一些用戶提供了以下錯誤： user_products = model.call("recommendProducts", user, prodNum) File "/usr/lib/spark/pyt