apache-spark-ml

11熱度

1回答

我在Spark 1.5.1中有一個spark.ml管道，它由一系列變壓器組成，後面跟着一個k均值估計器。我想在裝配管道之後能夠訪問KMeansModel .clusterCenters，但無法弄清楚。有沒有sparkle.m相當於sklearn的pipeline.named_steps功能？我發現this answer它給出了兩個選項。如果我將k-means模型從我的管道中分離出來並單獨安裝，那

4熱度

1回答

檢查點RDD ReliableCheckpointRDD已經從原來的RDD

我有兩臺機器的火花集羣，我當我運行的火花流應用我收到以下錯誤不同的分區數： Exception in thread "main" org.apache.spark.SparkException: Checkpoint RDD ReliableCheckpointRDD[11] at print at StatefulNetworkWordCount.scala:78(1) has differen

4熱度

1回答

Spark中的特徵歸一化算法

試圖理解Spark的歸一化算法。我的小的測試集合包含5個載體： {0.95, 0.018, 0.0, 24.0, 24.0, 14.4, 70000.0}, {1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 70000.0}, {-1.0, -1.0, -1.0, -1.0, -1.0, -1.0, 70000.0}, {-0.95, 0.018, 0.0, 24.0, 24.0

3熱度

2回答

星火交叉驗證與培訓，測試和驗證集

我希望做兩交叉驗證使用RandomSplits像 CV_global在星火處理：通過拆分數據到訓練集90％和測試集10％ 1.1。 CV_grid：在訓練集的一半上進行網格搜索，即45％的數據。 1.2。擬合模型：使用CV_grid的最佳設置訓練集（90％）。 1.3 測試模型：上測試設置（10％）每10倍和全局度量報告平均指標。問題是我只找到在整個訓練集上使用CV和網格搜索的例子。我怎樣

2熱度

1回答

Spark不會從netlib加載ARPACK或BLAS

我正在爲我的數據計算SVD。但每當我提出用日誌文件狀態星火應用： WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS 我建立的Spark與-Pnetlib-lgpl標誌，並且還包括在我的SBT文件的NETLIB依賴創建的jar文件時： l

8熱度

2回答

Apache Spark在遇到缺少的功能時拋出NullPointerException

我在PySpark中索引要素列中的字符串時出現了一個奇怪的問題。這是我的tmp.csv文件： x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t,1e1e,5.1,1 asd2s,1e3e,0.2,0 bd34t,1e2e,4.3,1 其中'x0'有一個缺失值。 https://github.com/sea

0熱度

1回答

哪裏預測（）在星火MLLIb的Logistic迴歸實現？

有人點我可以預言的實現（）的火花mllib的LogisticRegressionModel？我可以在類LogisticRegressionModel中找到predictPoint（），但其中是predict（）？

0熱度

1回答

帶縮放係數的Spark返回（LogisticRegression）模型

我正在測試合成生成的數據的LogisticRegression性能。我輸入的權重爲 w = [2, 3, 4] 沒有截距和三個特徵。上1000合成產生的數據點訓練假設對於每個隨機正態分佈之後，火花LogisticRegression模型我獲得具有權重 [6.005520656096823,9.35980263762698,12.203400879214152] 我可以看到，每個權重是由因子

1熱度

2回答

與ML火花和數據幀的隱式推薦

我正在嘗試使用Spark和Dataframes的新ML庫來構建隱式評級的推薦程序。我的代碼 from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql import Row from pyspark.ml.recommendation import ALS sc = Spar

4熱度

1回答

如何使用初始GaussianMixtureModel訓練GMM？

我們正試圖在Spark上使用MLLIB在Python中訓練一個具有指定初始模型的高斯混合模型（GMM）。 pyspark的Doc 1.5.1說我們應該使用一個GaussianMixtureModel對象作爲輸入作爲GaussianMixture.train方法的「initialModel」參數。在創建我們自己的初始模型（計劃是使用Kmean 結果）之前，我們只是想測試這種情況。所以我們嘗試