apache-spark-mllib

1熱度

1回答

Scala - 如何將我們在將GMM模型擬合到兩個單獨列中的數據時獲得的概率列（向量列）分開？

0熱度

2回答

java.lang.IllegalArgumentException：需求失敗：列功能必須是類型org.apache.spark.ml.linalg.VectorUDT

我是非常新的Spark機器學習（2天大）我在Spark中執行下面的代碼殼牌我試圖預測某個值，我看到在＃1提供這個錯誤後，但我不能夠再修復我的代碼以適當的解決方案，以便張貼問題爲同一輸入數據的道歉： 1.00,1.00,9.00 1.00,2.00,10.00 1.00,3.00,9.00 1.00,4.00,9.00 1.00,5.00,9.00 1.00,6.00,9.45 1.0

0熱度

1回答

如何在Spark中將多個列合併爲一個向量值列？

我剛開始使用Spark的MLlib。我想訓練一個簡單的模型（例如邏輯迴歸）。我的期望是，我需要「告訴」模型使用哪個列作爲目標，哪些列要視爲特徵。但是，它看起來應該只有一列具有特徵（包含向量作爲值的列）。所以，我的問題是：如何構建這樣一個向量值列？我曾嘗試以下（但不工作）： df = df.withColumn('feat_vec', [df['_c0'], df['_c1'], df['_c1

0熱度

1回答

火花ml.classification中的maxIter參數

LogisticRegression中使用的maxIter參數pyspark.ml.classification？的作用是什麼？ mlor = LogisticRegression(maxIter=5, regParam=0.01, weightCol="weight", family="multinomial")

0熱度

1回答

合併兩種不同類型的RDD

嗨，大家好，我想將RDD [Vector]和RDD [Int]結合到RDD [Vector] 這就是我所做的，我使用Kmeans來預測集羣，想法是添加在前面的每個矢量。這裏我就是這樣做的通訊員簇 val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() val data = spa

2熱度

1回答

連接兩個星火mllib管道一起

我有兩個獨立的DataFrames每個有我使用mllib變壓器在管道處理幾個不同的處理階段。我現在想這兩個管道連接在一起，從每個DataFrame保持功能（列）。 Scikit學習有FeatureUnion類處理這個，我似乎無法找到mllib的等價物。我可以在一個流水線取得由其他管道作爲屬性產生的數據幀的末尾添加一個自定義的變壓器級，並在變換方法加入，但似乎凌亂。

0熱度

1回答

爲什麼word2vec只以mapPartitionsWithIndex一項任務Word2Vec.scala：323

我正在word2vec火花，當它涉及到fit()，只有一個任務在UI觀察圖像：。根據配置，num-executors = 1000, executor-cores = 2。 RDD合併到2000個分區。 mapPartitionsWithIndex需要相當長的時間。它可以分發給多個執行者或任務嗎？

2熱度

1回答

如何星火預測值ML

我非常新火花機學習（4天）我正在執行中的星火下面的代碼殼牌我試圖預測某個值我的要求是我有以下組成列 Userid,Date,SwipeIntime 1, 1-Jan-2017,9.30 1, 2-Jan-2017,9.35 1, 3-Jan-2017,9.45 1, 4-Jan-2017,9.26 2, 1-Jan-2017,9.37 2, 2-Jan-2017,9.35 2,

-2熱度

1回答

需要使用Apache Spark根據一組規則過濾記錄時需要幫助

我在使用Apache Spark處理一組規則時遇到的一個用例需要幫助。由於實際數據有太多的領域，例如，你可以把數據如下圖所示（爲簡單起見給出JSON格式的數據）， records : [{ "recordId": 1, "messages": [{"name": "Tom","city": "Mumbai"}, {"name": "Jhon","a

0熱度

1回答

是否可以在遠程節點上執行表操作？（與行操作相比）

大部分的spark數據集函數都是每行操作。但是，我想分配ML任務的執行以在Spark上運行 - 大多數ML任務自然是作爲表的函數的操作，而不是行的各種功能。（我研究過MLLib--它的方式太有限了，而且在許多情況下，通過在可能適合於單個內核的許多內核上進行分佈式操作，執行速度要慢幾個數量級）。 ML算法處理行的集合，而不是單行，這一點很重要，所以我想將一個表物化爲節點上的內存。（我小指諾言它會