apache-spark-mllib

2熱度

1回答

調整Apache Spark MLlib算法

我正在使用Apche Spark Mllib Logistic迴歸和線性迴歸算法。我正在使用文檔中給出的代碼片段。現在問題在最新版本Spark 1.5中使用LogisticRegressionWithSGD和LinearRegression時引發。我用於 參數值LogisticRegressionwithSGD是 步長= 0.01 節數迭代= 1000 minBatchFraction = 0.0

machine-learning data-mining gradient-descent confusion-matrix apache-spark-mllib 2015-10-06

---

6熱度

3回答

將RDD [org.apache.spark.sql.Row]轉換爲RDD [org.apache.spark.mllib.linalg.Vector]

我對Spark和Scala相對較新。 我開始用下面的數據幀（單柱做出來雙打的緻密載體的）： scala> val scaledDataOnly_pruned = scaledDataOnly.select("features") scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector] scala>

scala apache-spark rdd spark-dataframe apache-spark-mllib 2015-10-09

---

1熱度

3回答

如何清除錯誤：NumberFormatException.java:65？當我們在Apache的火花

import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.mllib.regression.LabeledPoint

scala apache-spark classification rdd apache-spark-mllib 2015-10-12

---

0熱度

1回答

樸素貝葉斯與Apache星火MLlib

我用樸素貝葉斯與Apache星火MLlib文本分類如下教程：http://avulanov.blogspot.com/2014/08/text-classification-with-apache-spark.html /* instantiate Spark context (not needed for running inside Spark shell */ val sc = new S

scala apache-spark text-classification naivebayes apache-spark-mllib 2015-10-13

---

1熱度

1回答

HDFS文件作爲輸入提供給火花Mllib

所有在LIBSVM格式作爲輸入到火花Mllib教程使用文件的示例。（http://spark.apache.org/docs/latest/mllib-ensembles.html） 數據= MLUtils.loadLibSVMFile（SC，「數據/ mllib/sample_libsvm_data.txt '） 但我有一個文件，其中有數百萬行位於HDFS上，並且希望將此作爲Spark的MLLi

pyspark apache-spark-mllib 2015-10-13

---

0熱度

1回答

scala函數中的更新參數

在spark mllib樸素貝葉斯代碼中，它如何做到這一點？ c._2 += v.toBreeze v: Vector是mergeValue函數的參數，我們不能重新分配val。但是爲什麼在源代碼中有c._2 += v.toBreeze？ 這裏是源代碼： mergeValue = (c: (Long, BDV[Double]), v: Vector) => { requireNonnega

scala apache-spark apache-spark-mllib 2015-10-16

---

1熱度

1回答

Spark/Mllib以分佈式方式訓練許多GaussianMixture模型

我一直在玩Spark/mllib提供的高斯混合模型。 我發現它非常好的載體轉/分的巨大數量產生一GaussianMixture。然而，ML並非總是如此。很多時候，您不需要從無數向量生成模型，而是從少數向量生成無數模型（即爲每個數百個用戶創建一個數據庫用戶的GMM）。 在這一點上，我不知道如何與mllib繼續，因爲我看不到一個簡單的方法由用戶和數據都分配。 實施例： Let featuresByUs

scala apache-spark apache-spark-mllib 2015-10-23

---

2熱度

1回答

從DataFrame轉換爲JavaPairRDD <Long，Vector>

我試圖用Java API實現使用apache spark的LDA算法。方法LDA（）。run（）接受參數JavaPairRDD文件。 我使用斯卡拉創建RDD [（龍，矢量）如下： val countVectors = cvModel.transform(filteredTokens) .select("docId", "features") .map { case Row(do

java apache-spark apache-spark-mllib 2015-10-23

---

4熱度

2回答

Spark MLLib LDA結果的解釋

我對一組文檔運行LDA，並觀察到代表主題分佈的topicMatrix的值大於1，例如548.2201,685.2436,138.4013 ......什麼是這些值是什麼意思這些是分配的對數值或什麼。如何將這些值轉換爲概率分佈值。 在此先感謝。

apache-spark lda apache-spark-mllib 2015-10-25

---

0熱度

1回答

Error將mllib示例數據加載到PySpark中

嘗試將一些示例數據加載到PySpark for Spark 1.3.0的RandomForests的MLlib示例中，並在下面獲取錯誤。我是MLlib的新手，不確定如何進一步檢查這個錯誤。 代碼：https://spark.apache.org/docs/1.3.0/mllib-ensembles.html 錯誤： data = MLUtils.loadLibSVMFile(sc, "data/m

apache-spark pyspark apache-spark-mllib 2015-10-28

---