apache-spark-mllib

1熱度

1回答

我正在構建Spark應用程序，並在一些自定義的Estimators/Transformers中使用Evaluator類。我遇到了一個問題，Evaluator基類沒有實現metricName參數，它的大部分（所有？）後代（RegressionEvaluator,BinaryClassificationEvaluator等）都實現了。具體來說，當寫一個驗證器，以Estimator和Evaluator作

-1熱度

1回答

如何使用pyspark運行進化算法

我想運行演化算法如GA，PSO在spark上使用pyspark。如何使用MLLib使用Deap python庫來執行此操作。是否有任何其他庫可用於執行相同的任務。

0熱度

2回答

集羣文檔是否對文檔中的標記詞進行編碼？

我必須根據列名中存在的標記來聚集文檔（實際上是數據庫的列名）。例如： - C1 = ["Date", "Birth"] C2 = ["Order", "Date"] C3 = ["Birth", "Day"] C4 = ["CUSTOMER", "FIRST", "NAME"] C5 = ["FIRST","NAME"] . . 但是，所有這些標記實際上都是編碼的，所以我收到的是以

0熱度

1回答

如何加載訓練過的RandomForestClassificationModel模型？

我已經訓練了&測試了ML模型（GBTClassificationModel或RandomForestClassificationModel）。然後，我想保存經過訓練的模型以供將來使用。所以我做了以下工作： model.save("..."); 例如，在保存它之後以GBTClassificationModel爲例。保存的文件是包含「數據，元數據和treesMetadata」的目錄。我的問題是如何

0熱度

1回答

spark mllib和spark ml的矢量實現之間有什麼區別？

在高層我知道Spark MLLib是寫在RDD之上的，Spark ML是建立在DataFrame之上的，但我的理解缺乏細節。尤其是，不同向量實現的兼容性缺乏讓我想知道實現中的差異以及爲什麼選擇這些設計決策？

0熱度

1回答

在火花中使用LSH運行數據幀中每個點的最近鄰居查詢

我需要k個數據幀中每個特徵向量的k個最近鄰居。我使用pyspark的BucketedRandomProjectionLSHModel。用於創建模型 brp = BucketedRandomProjectionLSH(inputCol="features", outputCol="hashes",seed=12345, bucketLength=n) model = brp.fit(data_d

0熱度

1回答

寫入實木複合地板/卡夫卡：線程中的異常「dag-scheduler-event-loop」java.lang.OutOfMemoryError

我試圖解決我在我的火花設置中看到的內存溢出問題，此時，我無法就我爲什麼看到這一點做出具體分析。編寫數據框到鑲木地板或卡夫卡時，我總是看到這個問題。我的數據幀有5000行。它的模式是 root |-- A: string (nullable = true) |-- B: string (nullable = true) |-- C: string (nullable

1熱度

1回答

爲什麼在IntelliJ IDEA中運行MLlib項目會失敗並顯示「AssertionError：assertion failed：unsafe symbol CompatContext」？

我試圖運行Logistic迴歸的例子（https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/ml/JavaLogisticRegressionWithElasticNetExample.java）這是代碼： public final class GettingSta

0熱度

1回答

火花：我可以調諧同時與2估計

我有一個流（在火花管道）這樣的管道：我有一個數據幀A，其具有弦創建Word2Vec估計創建Word2VecModel變壓器應用Word2VecModel到數據幀A，以產生數據幀B，其具有載體創建KMean估計創建KMeanModel變壓器將KMeanModel應用於DataFrame B，用於聚類在這個流程中，我們有2個估計器和2個變壓器模型，所以我們需要2個流水線，並分別調整每個

1熱度

1回答

如何在CBOW模式下運行MLlib的word2vec？

我的理解是，word2vec可以在兩種模式下運行：連續袋的字（CBOW）（詞的順序並不重要）連續跳過克（字事項順序）我想運行從星火的MLlib的CBOW實現，但我不明白的文件和他們的榜樣如何做到這一點。這是他們頁面上列出的例子。來源：https://spark.apache.org/docs/2.1.0/mllib-feature-extraction.html#example impor