apache-spark-mllib

0熱度

1回答

我使用spark mllib來訓練naive-bayes分類器模型，其中我創建了一個管道來索引我的字符串特徵，然後規範化並應用PCA降維，之後我訓練我的樸素貝葉斯模型。當我運行管道時，我在PCA組件向量中得到負值。在Google上搜索時發現我必須應用NMF（非負矩陣分解）來獲得正向量，並且我發現ALS將使用方法.setnonnegative（true）來實現NMF。，但我不知道如何將PCA後的A

0熱度

1回答

Spark MLlib IDF洗牌數據？

在下面的代碼中，spark是否必須在計算IDF和TF-IDF向量時洗牌數據？ val hashingTF = new HashingTF() val tf: RDD[Vector] = hashingTF.transform(documents) tf.cache() val idf = new IDF().fit(tf) val tfidf: RDD[Vector] = idf.tran

1熱度

1回答

foreachRDD不接受JavaRDD <String>作爲返回類型

當我試圖將JavaRDD作爲第二個參數給新函數（）而不是Void。 stream.foreachRDD(new Function<JavaRDD<String>,JavaRDD<String> >() { public JavaRDD<String> call(JavaRDD<String> inputRDD) throws Exception { // do some stuff }

0熱度

1回答

Spark - 使用可變列將RDD [Vector]轉換爲DataFrame

通過scala/spark 1.6將RDD [Vector]轉換爲DataFrame的最佳解決方案是什麼？輸入是不同的RDD [矢量]。對於不同的RDD，Vector中的列號可以從1到n。我試過使用無形庫，蝙蝠他們需要聲明的列號和類型。 ES： val df = rddVector.map(_.toArray.toList) .collect { case t: Li

1熱度

1回答

f1score的Spark mllib閾值

我正在嘗試找到最佳閾值，讓我的邏輯迴歸具有最高的f1分數。然而，當我寫了下面幾行： val f1Score = metrics.fMeasureByThreshold f1Score.foreach { case (t, f) => println(s"Threshold: $t, F-score: $f, Beta = 1") 一些奇怪的值出現，例如： Threshold: 2.0939

0熱度

1回答

在變換器中訪問嵌套列setInputCol（）方法

0熱度

1回答

Apache Spark與Scala - 從矩陣中添加行

我在Scala中有一個CoordinateMatrix對象。例如，我想添加第1行和第2行，並將結果存儲在第1行。什麼是最佳方式？提前致謝。

-1熱度

3回答

ClassCastException [C不能轉換爲[Ljava.lang.Object;

我正在使用Spark MLlib的DecisionTreeModel進行預測。 def predict(sc: SparkContext) : (Row => Row) = { val model = DecisionTreeModel.load(sc,"hdfs://invlxiisqa09.informatica.com:8020/user/cloudqa/anuja/myDeci

1熱度

1回答

在Apache Spark中使用分類和數字功能對數據進行聚類

我正在尋找能夠對具有數字和分類功能的數據進行聚類的Apache Spark（Scala/Java）中的算法。就我所見，有一個針對pyspark的k-medoids和k-prototypes的實現（https://github.com/ThinkBigAnalytics/pyspark-distributed-kmodes），但我無法爲我目前正在使用的Scala/Java版本找到類似的東西。是否

0熱度

1回答

如何將日期/時間戳記納入我的功能

我正在創建決策樹模型，並且正在使用數據集對其進行訓練。但是，此數據集中的某些列是時間戳或日期。我一直在瀏覽Apache的文檔，一直無法找到解析或將這些值添加到我的features列的方法。任何想法，我怎麼能做到這一點？