apache-spark-ml

2熱度

1回答

我正在構建邏輯迴歸的ML管道。 val lr = new LogisticRegression() lr.setMaxIter(100).setRegParam(0.001) val pipeline = new Pipeline().setStages(Array(geoDimEncoder,clientTypeEncoder, devTypeDimIdEncoder,pu

0熱度

1回答

時間序列預測中的星火和星火流

我很新的機器學習，所以我需要一些幫助。我有攝取有關用戶的電力消耗爲Cassandra的數據流火花工作。我用這些數據填充多個表格，其中最重要的是「hourly_data」，它指定每個用戶在特定小時內的用電量。我想要做什麼，是多少電力用戶將花費，直到有一天，一個月或一年的年底一些預測。哪些庫和模型我應該使用？迴歸是我真正需要的嗎？我想我不能在流工作做預測，但我需要啓動該批處理？而且，這將是

1熱度

1回答

在將DataFrame保存到Hive時出現Spark Scala錯誤

我已經通過組合多個數組構造了一個DataFrame。我試圖將此保存到一個配置單元表中，我得到ArrayIndexOutofBound異常。以下是代碼和我得到的錯誤。我試圖在主def之外添加case class，但仍然得到相同的錯誤。 import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{Row

0熱度

1回答

函數參數中的RDD [Vector]的錯誤

我正在嘗試在scala中定義一個函數，以使用Spark對其進行迭代。這裏是我的代碼： import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext import org.apache.spark.ml.{Pipeline, PipelineModel} import org.

9熱度

2回答

通過pyspark.ml調整隱式pyspark.ml ALS矩陣分解模型的參數CrossValidator

我試圖調整使用隱式數據的ALS矩陣分解模型的參數。爲此，我試圖使用pyspark.ml.tuning.CrossValidator運行參數網格並選擇最佳模型。我相信我的問題在評估者中，但我無法弄清楚。我能得到這個與迴歸RMSE評估一個明確的數據模型的工作，具體如下： from pyspark import SparkConf, SparkContext from pyspark.sql imp

4熱度

1回答

如何在PySpark中自定義估算器mllib

我想在pySpark mllib中構建一個簡單的自定義估算器。我有here，它可以寫一個自定義的變壓器，但我不知道如何在Estimator上做到這一點。我也不明白什麼@keyword_only做什麼，爲什麼我需要這麼多的制定者和獲得者。 Scikit學習似乎有定製機型see here適當的文件（但pySpark不僞爲例型號代碼： class NormalDeviation(): def

1熱度

2回答

用火花毫升（數據幀）進行邏輯迴歸

我爲邏輯迴歸編寫了下面的代碼，我想使用由spark.ml提供的管道API。然而，在我嘗試打印係數和截取值後，它給了我一個錯誤。另外，我在計算混淆矩陣和其他度量如精度，召回率方面遇到了困難。 #Logistic Regression: from pyspark.mllib.linalg import Vectors from pyspark.ml.classification import Lo

3熱度

2回答

如何在DataFrame中聲明一個列作爲分類特徵以用於ml

如何聲明我的DataFrame中的給定列包含分類信息？我有一個Spark SQL DataFrame我從數據庫中加載。此DataFrame中的許多列都有分類信息，但它們被編碼爲多個（用於隱私）。我希望能夠告訴spark-ml，即使該列是數字，信息實際上也是分類的。類別索引可能有一些漏洞，並且可以接受。（例如一列可能有值[1,0,0,4]）我知道存在StringIndexer但我寧願避免編碼

0熱度

1回答

sc.parallelize不是在ML管道與訓練算法工作

隨着org.apache.spark.mllib學習算法，我們用來設置管道沒有訓練算法 var stages: Array[org.apache.spark.ml.PipelineStage] = index_transformers :+ assembler val pipeline = new Pipeline().setStages(stages) 然後經過我們二手LabeledPoi

3熱度

2回答

我們應該並行化數據幀像我們培訓

考慮這裏給出的代碼之前並行化序列， https://spark.apache.org/docs/1.2.0/ml-guide.html import org.apache.spark.ml.classification.LogisticRegression val training = sparkContext.parallelize(Seq( LabeledPoint(1.0, Vec