apache-spark-ml

0熱度

1回答

我正在創建決策樹模型，並且正在使用數據集對其進行訓練。但是，此數據集中的某些列是時間戳或日期。我一直在瀏覽Apache的文檔，一直無法找到解析或將這些值添加到我的features列的方法。任何想法，我怎麼能做到這一點？

0熱度

1回答

如果使用較新的Dataframe API（即非RDD），似乎沒有類可用於執行降維。也沒有任何文件（https://spark.apache.org/docs/latest/ml-guide.html）。有人能告訴我使用spark.ml（Dataframe）包而不是spark.mllib（RDD）類的類降維方法嗎？可能嗎？

1熱度

1回答

如何將SparkML模型作爲實時Web服務進行操作？

一旦在Spark集羣上訓練了SparkML模型，我如何才能接受訓練的模型並使其可用於通過平穩的API進行評分？問題是它需要一個SparkContext才能被加載，但有沒有辦法'僞裝'，因爲它看起來確實不是必須的，或者創建SparkContext所需的最小值是多少？

2熱度

1回答

如何可視化pyspark中的決策樹模型/對象？

是否有任何方法可視化/繪製使用pyspark中的mllib或ml庫創建的決策樹。還有如何獲取葉節點中的記錄數等信息。由於

1熱度

1回答

PySpark在嵌套數組中顛倒StringIndexer

我正在使用PySpark使用ALS進行協作過濾。我的原始用戶和項目ID是字符串，因此我使用StringIndexer將它們轉換爲數字索引（PySpark的ALS模型要求我們這樣做）。我已經裝了模型之後，我可以得到最高3建議爲每個用戶，像這樣： recs = ( model .recommendForAllUsers(3) ) 的recs數據框看起來像這樣： +------

2熱度

1回答

是否可以將訓練有素的Spark ML模型或交叉驗證器保存到postgree數據庫中？

是否可以將訓練有素的Spark ML模型或交叉驗證器保存到postgree數據庫中？我可以找到將其保存到磁盤或HDFS的方法，但是我們可以將它保存在RDBMS（例如Postgree）表中嗎？

0熱度

1回答

如何將pyspark ml模型保存/加載到HBase

我正在編寫一個pyspark應用程序，並希望在MLlib Linear Regression中使用算法。但我不知道如何保存/加載輸出。我的代碼： import os import sys os.environ['SPARK_HOME']="C:\spark-2.2.0-bin-hadoop2.7" try: from pyspark.sql import SparkSessio

1熱度

1回答

如何在多個節點上正確地並行化pyspark作業並避免內存問題？

我目前正在研究PySpark作業（Spark 2.2.0），它打算根據一組文檔訓練潛在Dirichlet分配模型。輸入文檔作爲位於Google雲端存儲上的CSV文件提供。以下代碼在單個節點上成功運行Google Cloud Dataproc集羣（4vCPU/15GB內存），文檔的一個小子集（〜6500），生成的主題數量較少（10），數量較少迭代（100）。然而，對於主題數量或迭代次數較多的文檔

-1熱度

1回答

Apache Spark：多機器學習的並行化算法

有沒有一種方法可以在Spark中並行化多個ML算法。我的用例是這樣的： A）並行運行多機器學習算法（樸素貝葉斯，人工神經網絡，隨機森林等）。 1）使用10倍交叉驗證驗證每個算法B）在第二層機器學習算法中提供步驟A）的輸出。我的問題是：我們可以在步驟A中並行運行多機器學習算法嗎？我們可以並行進行交叉驗證嗎？比如，並行運行10次樸素貝葉斯訓練？我無法找到任何方法來並行運行不同的算法。而且似乎交

0熱度

1回答

spark mllib和spark ml的矢量實現之間有什麼區別？

在高層我知道Spark MLLib是寫在RDD之上的，Spark ML是建立在DataFrame之上的，但我的理解缺乏細節。尤其是，不同向量實現的兼容性缺乏讓我想知道實現中的差異以及爲什麼選擇這些設計決策？