apache-spark-ml

0熱度

1回答

IllegalArgumentException：u'requirement失敗：在谷歌DataProc Spark上無效的初始容量'

我目前正試圖在Google DataProc上的Spark 2.0.0上的大型數據集（30 mio觀察值，13個變量）上運行ml決策樹。當我執行： labelIndexer = StringIndexer(inputCol="Target", outputCol="indexedLabel").fit(data) 我收到以下錯誤： IllegalArgumentException: u're

1熱度

1回答

我如何使用java中的spark使用word格式查看LDA topicmodelling中的主題

我正在嘗試使用Java中的Apache Spark ML創建LDA模型。輸入文檔採用字符串格式。我以數字格式獲得主題，但不是以文字格式。發現了類似的問題，但令人遺憾的是解決方案是在R- LDA with topicmodels, how can I see which topics different documents belong to?但我正在尋找使用Spark中的ML lib的解決方案。

1熱度

1回答

（陣列/ ML矢量/ MLlib矢量）RDD到ML矢量數據幀coulmn

我需要一個RDD轉換爲單個柱o.a.s.ml.linalg.Vector數據幀中，爲了使用ML算法，特別KMEANS對於這種情況。這是我的RDD： val parsedData = sc.textFile("/digits480x.csv").map(s => Row(org.apache.spark.mllib.linalg.Vectors.dense(s.split(',').slice(0,

0熱度

1回答

Executor心跳超時DataProc上的Spark

我試圖在Google DataProc羣集上適配Spark（2.0.0）中的ml模型。在擬合模型時，我收到Executor心跳超時錯誤。我該如何解決這個問題？其他解決方案表明這可能是由於（執行者之一）的內存不足。我將其解讀爲解決方案：設置正確的設置，重新分區，緩存並獲得更大的羣集。我能做些什麼，最好是不設置更大的羣集？（讓更多的/分區不緩存少調整設置？？？）我的設置： 1名碩士和2名工人都具

1熱度

1回答

爲什麼pyspark的BinaryClassificationEvaluator avgMetrics返回的值大於1？

evaluator = BinaryClassificationEvaluator() grid = ParamGridBuilder().build() # no hyper parameter optimization cv = CrossValidator(estimator=pipeline, estimatorParamMaps=grid, evaluator=eva

0熱度

1回答

如何培養給予RDD

SparkML梯度推進分類器鑑於以下RDD training_rdd = rdd.select( # Categorical features col('device_os'), # 'ios', 'android' # Numeric features col('30day_click_count'), col('30day_impression

1熱度

2回答

Pyspark - 獲取使用ParamGridBuilder創建的模型的所有參數

我使用PySpark 2.0進行Kaggle比賽。我想知道模型（RandomForest）的行爲取決於不同的參數。 ParamGridBuilder()允許爲單個參數指定不同的值，然後執行（我猜）整個參數集的笛卡爾乘積。假設我DataFrame已定義： rdc = RandomForestClassifier() pipeline = Pipeline(stages=STAGES + [rdc]

1熱度

2回答

拋出：IllegalArgumentException，錯寫FS ML模型從星火到S3時（斯卡拉）

我創建了一個模型： val model = pipeline.fit(commentLower) ，我試圖將其寫入到S3： sc.hadoopConfiguration.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem") sc.hadoopConfiguration.set("fs.s3.awsAcces

4熱度

2回答

pyspark：NameError：名字「火花」是沒有定義

我複製從公文網站pyspark.ml例如： http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.Transformer data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]

0熱度

1回答

pyspark：轉換RDD [DenseVector]到數據幀

我有以下RDD： rdd.take（5）給我： [DenseVector([9.2463, 1.0, 0.392, 0.3381, 162.6437, 7.9432, 8.3397, 11.7699]), DenseVector([9.2463, 1.0, 0.392, 0.3381, 162.6437, 7.9432, 8.3397, 11.7699]), DenseVector([5.0,