apache-spark-mllib

0熱度

1回答

當DataFrame有列時如何使用Java Apache Spark MLlib？

所以，我是新來的Apache Spark和我有一個看起來像這樣的文件： Name Size Records File1 1,000 104,370 File2 950 91,780 File3 1,500 109,123 File4 2,170 113,888 File5 2,000 111,974 File6 1,820 110,666 File7 1,200 106,771

10熱度

1回答

Matrix Math With Sparklyr

想要將一些R代碼轉換爲Sparklyr，函數如lmtest :: coeftest（）和sandwich :: sandwich（）。想上手Sparklyr擴展，但漂亮的新星火API和有問題:( 運行星火2.1.1和sparklyr 0.5.5-9002 感受第一步將是使一個DenseMatrix對象使用linalg庫： library(sparklyr) library(dplyr) sc

0熱度

1回答

線性支持向量機與非線性支持向量機高維數據

我正在一個項目中使用Spark Mllib線性支持向量機對一些數據進行分類（l2正則化）。我有200個積極的觀察結果和150個（產生的）消極觀察結果，每個數據具有744個特徵，代表了房屋不同區域的人的活動水平。我已經運行了一些測試，並且「areaUnderROC」度量值爲0.991，並且似乎該模型在對我提供給它的數據進行分類時非常好。我做了一些研究，發現線性SVM在高維數據中很好，但問題是我不

-2熱度

3回答

與純python替代品相比，Pyspark代碼的性能不夠

我轉換了現有的代碼，該代碼在python下面粘貼在pyspark中。 Python代碼： import json import csv def main(): # create a simple JSON array with open('paytm_tweets_data_1495614657.json') as str: tweetsList = []

1熱度

2回答

如何用新列覆蓋Spark數據框中的整個現有列？

我想覆蓋一個新的列是一個二進制標誌的火花列。我試着直接覆蓋列id2，但爲什麼它不像Pandas中的就地操作？如何在不使用withcolumn（）創建新列並使用drop（）刪除舊列的情況下執行此操作？我知道spark數據框是不可變的，是原因還是有不同的方式來覆蓋，而不使用withcolumn（）& drop（）？ df2 = spark.createDataFrame( [(1, 1

0熱度

1回答

如何提供多列到setInputCol（）

我是非常新的Spark機器學習我想要傳遞多個列的功能，在我的下面的代碼中，我只是將日期列傳遞給功能，但現在我想通過Userid和日期列到要素。我試圖用向量，但它僅支持雙數據類型，但在我的情況下，我有int和string 我會感激，如果任何人提供任何建議/解決方案或任何代碼示例，這將滿足我的要求代碼： case class LabeledDocument(Userid: Double, Date:

1熱度

1回答

無法在Zeppelin中運行其他段落之後VectorAssembler.transfrom

我正在使用Zeppelin 0.7.1和spark 2.1.0。我已經得到了在數據幀「數據集」一些數據： +-------+-------+-------+-------+ | index |var 1 |var 2 |var 3 | +-------+-------+-------+-------+ | 0 | 0 | 1 | 0 | +-------+-------+----

0熱度

1回答

嘗試打印數據集表時出現問題

我正在嘗試PySpark的機器學習教程。以下this tutorial here。當我進入「相關性和數據準備」部分時出現問題。試圖這裏運行此代碼： from pyspark.sql.types import DoubleType from pyspark.sql.functions import UserDefinedFunction binary_map = {'Yes':1.0,

2熱度

1回答

爲什麼StandardScaler不將元數據附加到輸出列？

我注意到毫升StandardScaler不會附着的元數據以輸出列： import org.apache.spark.ml.Pipeline import org.apache.spark.ml.feature._ val df = spark.read.option("header", true) .option("inferSchema", true) .csv("/p

0熱度

1回答

pyspark MlLib：排除行中的列值

我試圖從數據框中創建LabeledPoint的RDD，因此我可以稍後將它用於MlLib。下面的代碼工作正常，如果my_target列是sparkDF中的第一列。但是，如果my_target列不是第一列，那麼如何修改以下代碼以排除my_target以創建正確的LabeledPoint？ import pyspark.mllib.classification as clf labeledData