apache-spark-mllib

11熱度

4回答

如何將Apache Spark與Spring MVC Web應用程序集成到交互式用戶會話中

我正在嘗試使用Apache Spark MLlib構建電影推薦系統。我已經在java中編寫了推薦程序的代碼，並且在使用命令運行時工作正常。我運行命令如下 bin/spark-submit --jars /opt/poc/spark-1.3.1-bin-hadoop2.6/mllib/spark-mllib_2.10-1.0.0.jar --class "com.recommender.Mo

0熱度

1回答

如何在Apache Spark中訓練Matrix分解模型MLlib的ALS使用訓練，測試和驗證數據集

我想實現Apache Spark的ALS機器學習算法。我發現應該選擇最好的模型來獲得最佳結果。根據論壇上的建議，我已將培訓數據分爲三組Training, Validation and Test。我發現了以下代碼示例來訓練這些集合上的模型。 val ranks = List(8, 12) val lambdas = List(1.0, 10.0) val numIters = List(10,

0熱度

1回答

spark-mllib：在源代碼中出錯「重新分配到val」

我正在使用IDEA SBT項目來測試spark-mllib代碼。這裏是build.sbt：所有進口和編譯工作做 name := "SparkTest" version := "1.0" scalaVersion := "2.11.6" libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.2.0"

0熱度

1回答

Mllib ALS模型預測錯誤

面向model.predict方法MatrixFactorizationModel在嘗試在scala中編譯時出現錯誤。 val usersProducts = ratings.map{ case Rating(user, product, rate) => (user, product,rate) } val predictions = model.predict(usersProducts).

1熱度

1回答

按順序更新矩陣RDD的列

我在使用mllib.linalg中的RDD時遇到了一些哲學問題。在數值線性代數中，人們想要使用可變數據結構，但是由於在Spark中所有的東西（RDDs）都是不可變的，所以我想知道是否有辦法解決這個問題，特別是在我處理的情況下。 import org.apache.spark.mllib.linalg._ import breeze.numerics._ val theta = constan

0熱度

1回答

如何在MLBase中將類別變量轉換爲虛擬/指示器變量

我試圖在MLBase中使用邏輯迴歸模型來預測廣告的點擊率。在我的數據集中，我有一些類別變量，我想將它們轉換爲用作模型輸入的虛擬/指示符變量。我的數據看起來像 "log_time","country","gender" "2015-05-19","USA","M" "2015-05-20","IND","F" 是否有一些解決方案來完成MLBase或scala中的轉換？

1熱度

2回答

如何使用Python在Spark中對LIBSVM文件進行特徵選擇和縮減？

我有幾個LIBSVM文件，我必須使用python在Spark中實現羣集。該文件具有空間作爲分隔符，第一列代表類型[1或-1]，其餘全部爲格式爲[1：2.566]的功能。有很多像這樣的列，我想對此進行特徵選擇[最好實現ChiSquareTest模型]，然後使用PCA或SVD執行特徵縮減過程。但是，我無法找到一個體面的python火花教程來實現這些過程。我發現一個link在線，它有一個示例腳本來實現

1熱度

2回答

可以將受過訓練的分類模型存儲在Apache Spark中嗎？

我要使用Apache Spark（或Hahop中的Mahout）在一堆培訓文檔上訓練一個樸素貝葉斯分類器。我想在接收新文檔進行分類時使用此模型。我想知道在訓練時是否有可能存儲模型，然後在另一個Spark作業中加載它？

0熱度

1回答

確切類型的火花類型不匹配

在嘗試Naive Bayes示例時here我在Ubuntu上的Spark 1.4上遇到此問題。我已經看到類似問題的帖子，其中修復了一個jar不匹配（通過Maven），但在這種情況下，所討論的類與Spark打包在一起，所以我不知道如何繼續。 scala> val model = NaiveBayes.train(training, lambda = 1.0, modelType = "multino

4熱度

2回答

Spark Mllib kmeans示例，用數據幀代替textFile

我試圖運行Spark（1.3.1）Mllib k-means聚類浮點數的數據幀。我以下通過火花 https://spark.apache.org/docs/1.3.1/mllib-clustering.html 然而提供的聚類例如，代替一個文本文件，我使用的是雙打的一列（爲簡單起見）構成的數據幀。我需要根據Mllib文檔將其轉換爲Kmeans函數的向量。到目前爲止，我有這個 import org