apache-spark-ml

0熱度

1回答

可以使用Spark ML管道加載和測試使用Spark MLLib構建的ML模型嗎？

我知道Spark有兩個機器學習庫。一個是spark.ml，另一個是spark.mllib。我只想知道是否使用由spark.ml構建的火花程序使用並測試（預測）使用spark.mllib pachages構建的模型，反之亦然？

0熱度

1回答

無法加載PiplineModel/LogisticRegressionModel mlib spark

加載包含LogisticRegressionModel階段的序列化PiplineModel時遇到問題。我得到： java.lang.IllegalArgumentException: Field "coefficients" does not exist. 我曾嘗試加載完整的管道和只是後勤階段，並得到相同的錯誤。另外，我檢查了coeficients()在保存模型之前是否返回值，它是否返回值。

-1熱度

1回答

我們如何才能比較scikit-learn和Spark ML的準確性決策樹算法性能？

我正在比較使用sklearn DT和Spark ML DT獲取的文本分類的準確性，以及相同的特徵和數據集。甚至比較它們是否合適？原因是，這兩個參數列表是不同的，所以我認爲結果會有所不同，我不確定我們可以在什麼基礎上進行比較？哪一個應該在默認設置下獲得更好的精確度和性能？我知道它取決於從用例到用例，但是我們可以概括它至少用於相同的用例嗎？

0熱度

1回答

在SparkALS不「的功能數」也意味着「因素數」？

我通過火花（alpha-0.1），以瞭解它是如何開始和它是如何演化的早期版本工作。我也試圖教育自己如何交替最小二乘工作。我期待通過SparkALS例子，看看下面的變量： var M = 0 // Number of movies var U = 0 // Number of users var F = 0 // Number of features 來源：https://

0熱度

1回答

如何使用Scala微風計算正態累積分佈函數（cdf）的逆？

我想計算正態累積分佈函數（cdf）的逆，使用類似MATLAB函數NORMINV的scala微風。但我沒有找到任何內建函數來計算它。有沒有人有任何想法在Scala中做到這一點？謝謝

1熱度

1回答

如何推斷星火MLlib預測類標籤計算原始分數

閱讀下面 https://spark.apache.org/docs/latest/mllib-optimization.html 星火文件下面二元分類預測的示例代碼段： val model = new LogisticRegressionModel( Vectors.dense(weightsWithIntercept.toArray.slice(0,weightsWithInterce

1熱度

1回答

如何使用StringIndexer生成數值變量？

我希望能夠使用StringIndexer作爲排序我的數據集中的1000多個類別的一種方法，生成一個表示相對頻率的索引。然後我可以將此索引用作我的模型的數字特徵。不幸的是，StringIndex默認存儲一些元數據標記索引作爲分類，迫使我的模型使用索引作爲category variable。是否有某種方法禁用此，所以索引變量可以用作數字變量？編輯：我正在使用字符串索引器作爲ML管道中的一個階段，因

0熱度

2回答

Spark集羣不能縮放到小數據

我目前正在使用線性迴歸（Spark ML）中的基準評估小型集羣上的Spark 2.1.0（3個節點有32個CPU和128 GB Ram）。我只測量了參數計算的時間（不包括開始，數據加載，...）並確認了以下行爲。對於小型數據集0.1 Mio - 3 Mio數據點，測量時間並不真正增加，並停留在大約40秒。只有像300 Mio數據點那樣的較大數據集，處理時間纔會增加到200秒。所以看起來，集羣根本沒

2熱度

1回答

蘇打水往往拋出java.lang.ArrayIndexOutOfBoundsException：65535

H2O蘇打水往往拋出異常，下面，我們就重新運行時手動發生這種情況。問題是spark事件在發生這種異常時不會退出，它們不會返回退出狀態，並且我們無法自動執行此過程。 App > Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 316 in stage

0熱度

1回答

從客戶機提交的Spark

我們在linux平臺上實現了hadoop。我們使用scala spark來開發使用火花機器學習庫的模型。我只是使用notepad ++並創建* .scala文件並在數據節點上執行它們。我想知道我可以從本地機器（Windows機器）使用eclipce或Intellij IDE並連接到spark來測試scala spark腳本。