apache-spark-mllib

2熱度

1回答

我試圖在PySpark運行我的數據樸素貝葉斯分類器1.3 這裏是我的數據樣本：使用文本文件，我將它轉換成一個LabeledPoint對象 67，[0,1,2,3,4,5,6,8,9,10,11,12,13,14,15,16,17,18,19,20， 21,22,23,24,25,26,27,28,29,30,31,32,3 ..... 60,66]，[0.45,0.441666666667,0.

1熱度

1回答

Spark 1.4 Mllib LDA topicDistributions（）返回錯誤的文檔數

我有一個LDA模型，運行在語料庫大小爲12,054個文檔，語義大小爲9,681個字和60個集羣。我試圖通過調用.topicDistributions（）或.javaTopicDistributions（）來獲取文檔的主題分佈。這兩種方法都會在文檔上返回一個主題分佈的rdd。根據我的理解，行數應該是文檔數量，列數應該是主題數量。但是，在調用topicDistributions（）之後，當我計算rdd

2熱度

1回答

爲什麼MLLib生成線性輸入內部乘以12.0的方差？

從MLLib LinearDataGenerator考慮generateLinearInput方法：下面是該方法的簽名： def generateLinearInput( intercept: Double, weights: Array[Double], xMean: Array[Double], xVariance: Array[Double],

3熱度

2回答

Spark多類分類示例

你們知道我在哪裏可以找到Spark中多類分類的例子。我花了很多時間在書本和網絡上搜索，到目前爲止，我只知道根據文檔的最新版本，這是可能的。

1熱度

1回答

如何在Java中序列化apache spark的MatrixFactorizationModel

我使用Apache Spark MLlib和Java構建推薦系統。一旦MatrixFactorizationModel被構建，我已經將它序列化爲java對象，並且在檢索模型時，我得到以下異常。產生的原因：拋出java.lang.ClassNotFoundException： org.apache.spark.OneToOneDependency不能被 org.scala-lang.scala-l

1熱度

1回答

PySpark中的廣播隨機森林模型

我正在使用spark 1.4.1。當我試圖播放隨機林模型就說明我這個錯誤： Traceback (most recent call last): File "/gpfs/haifa/home/d/a/davidbi/codeBook/Nice.py", line 358, in <module> broadModel = sc.broadcast(model) File "/

3熱度

1回答

PySpark：從現有的LabeledPointsRDD創建新的RDD，但修改標籤

是否有一種快速方法從包含LabeledPoints的現有RDD創建新的RDD，但僅修改每行的標籤？作爲一個例子，假設我有RDD稱爲myRDD，並且myRDD具有LabeledPoints如下： RDD = sc.parallelize([ LabeledPoint(1, [1.0, 2.0, 3.0]), LabeledPoint(2, [3.0, 4.0, 5.0]),

6熱度

2回答

稀疏向量VS密集矢量

如何創建SparseVector和密集的矢量表示如果DenseVector是： denseV = np.array([0., 3., 0., 4.]) 什麼將是稀疏向量表示？

3熱度

2回答

Spark用於HashingTF的哈希函數是什麼？如何複製它？

Spark MLLIb具有HashingTF（）函數，該函數根據每個術語的哈希值計算文檔術語頻率。 1）它使用什麼函數做散列？ 2）如何從Python獲得相同的哈希值？ 3）如果我想計算給定單個輸入的散列輸出，而不計算術語頻率，我該怎麼做？

1熱度

1回答

Spark-Cassandra系統上的Zeppelin問題：Classnotfoundexception

我最近開始使用Spark-Cassandra集羣（Master + 3 Workers）系統上的zeppelin來使用MLlib庫運行簡單的機器學習算法。這裏是我裝到飛艇庫： %dep z.load("com.datastax.spark:spark-cassandra-connector_2.10:1.4.0-M1") z.load("org.apache.spark:spark-core