scala-spark

0熱度

1回答

我寫在斯卡拉2.11這行代碼到Databricks： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_fr", "fans", "

0熱度

3回答

如何設置第一個函數的ignoreNulls標誌與列和聚合函數的地圖agg？

我有20-25列的conf文件列表，並且必須彙總第一個Notnull值。我嘗試了通過閱讀conf文件傳遞列列表和agg expr的函數。我能夠獲得第一個功能，但無法找到如何首先指定ignoreNull值爲true。，我試過的代碼是 def groupAndAggregate(df: DataFrame, cols: List[String] , aggregateFun: Map[String

1熱度

1回答

Scala - 如何將我們在將GMM模型擬合到兩個單獨列中的數據時獲得的概率列（向量列）分開？

0熱度

1回答

在DataFrame.withColumn中，如何檢查列的值是否爲null作爲第二個參數的條件？

如果我有一個名爲DF是數據框的樣子： +----+----+ | a1+ a2| +----+----+ | foo| bar| | N/A| baz| |null| etc| +----+----+ 我可以選擇像這樣替換值： val df2 = df.withColumn("a1", when($"a1" === "N/A", $"a2")) 使DF2看起來像： +----+

0熱度

1回答

org.apache.spark.SparkException：未能執行用戶定義的函數

我新來斯卡拉，我想執行以下代碼： val SetID = udf{(c:String, d: String) => if(c.UpperCase.contains("EXKLUS") == true) {d} else {""} } val ParquetWithID = STG1 .withColumn("ID", SetID(col("line_it

1熱度

2回答

樞軸火花斯卡拉據幀

我想在斯卡拉火花使用透視方法 val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count() 然而，儘管同時在Eclipse中創建一個罐子裏，同時執行火花，其給予沒有任何compliation錯誤誤差作爲 - Exception in thread "main" java.lang.NoSuch

1熱度

2回答

Spark - 使用不同數據類型以編程方式創建模式

我有一個由7-8個字段組成的數據集，這些字段的類型是String，Int & Float。我試圖用它來創建通過編程的方式架構： val schema = StructType(header.split(",").map(column => StructField(column, StringType, true))) 然後通過映射它排樣型： val dataRdd = datafile.fi

-1熱度

1回答

Pyspark變換方法變換方法

星火Scala的API有Dataset#transform方法，可以很容易鏈定製數據幀的轉換等，使得這相當於Scala的數據集＃： val weirdDf = df .transform(myFirstCustomTransformation) .transform(anotherCustomTransformation) 我沒有看到同等transform方法爲pyspar