spark-dataframe

0熱度

1回答

Pyspark - AttributeError：'UserDefinedFunction'對象沒有屬性'_get_object_id'

我用一個函數創建了python文件（python_file.py），然後在同一範圍內的pyspark-shell中將該函數調用爲UDF。該代碼如下 import python_file as outer pyspark_func = udf(outer.my_funct, StringType()) df1 = df.select(pyspark_func(col('col1'))) 這導

1熱度

1回答

將火花數據幀中每個分區的記錄寫入一個xml文件

我必須在火花數據框中的每個分區的文件中執行記錄計數，然後我必須將輸出寫入xml文件。這是我的數據框。 dfMainOutputFinalWithoutNull.coalesce(1).write.partitionBy("DataPartition","StatementTypeCode") .format("csv") .option("nullValue", "")

0熱度

1回答

如何更新Spark 2.1上的pyspark數據框元數據？

我正面臨着SparkML的OneHotEncoder問題，因爲它讀取數據幀元數據以確定它應該爲其創建的稀疏矢量對象分配的值範圍。更具體而言，我使用含0 23之間和所有單獨的值現在我得分用「改造」方法OD單行數據幀的訓練組編碼的「小時」字段管道。不幸的是，這導致了OneHotEncoder 一個不同編碼稀疏矢量對象（24，[5]，[1.0]）與（11，[10]，[1.0]）我已記錄這here

0熱度

1回答

阿帕奇星火 - 在數據幀

選擇一些字段未修改從行我有 org.apache.spark.sql.DataFrame = [ts: string, name: string, value: string ] ，我試圖做的結果 val result = df.map {case Row(ts, name, value) => (name+":"+value+"-ctag", ts)} 本質第二場是不變。如果我不選擇第二

0熱度

1回答

無法從星火外殼打印哈納數據

下面的代碼，我想從火花外殼連接到HANA並從一個特定的錶帶上的數據： spark-submit --properties-file /users/xxx/spark-defaults.conf ./spark-shell --properties-file /users/xxx/spark-defaults.conf val sparksqlContext = new org.

1熱度

1回答

Spark DataFrame字符串類型列到時間戳/日期類型列轉換

嗨我有兩個字符串列c1dt和c2tm的數據幀，它的格式分別是yyyymmdd和yyyymmddTHHmmss.SSSz。現在我想將這些列轉換爲日期類型和時間戳類型列，我嘗試了以下操作，但它不起作用，它將列值顯示爲空值。 val newdf = df.withColumn("c1dt", unix_timestmap("c1dt","yyyymmdd").cast("date").withColum

0熱度

1回答

錯誤：值saveAsTextFile不是scala.collection.Map的成員[String，Long]

我嘗試了所有可能的方法，通過導入所有可能的庫並檢查所有與saveAstextFile或saveAsSequenceFile相關的問題的答案幫助。因此啓動一個新的線程。我得到一個錯誤「錯誤：試圖保存一個RDD到HDFS我下面下面的步驟值saveAsTextFile不是scala.collection.Map[String,Long] countResult.saveAsTextFile("tmp/

-2熱度

1回答

row.getList java.lang.ClassCastException：java.math.BigDecimal不能轉換爲scala.collection.Seq

我試圖用下面的schema元素從一行中檢索一個列表。 [info] |-- ARRAY_FIELD: array (nullable = false) [info] | |-- element: string (containsNull = false) 當使用 row.getAs[WrappedArray[String]]("ARRAY_FIELD") 我得到以下結果打印 Wrappe

1熱度

3回答

使用UDF

當運行下面的一段PySpark代碼： nlp = NLPFunctions() def parse_ingredients(ingredient_lines): parsed_ingredients = nlp.getingredients_bulk(ingredient_lines)[0] return list(chain.from_iterable(parsed_in

1熱度

1回答

左外複雜使用Seq（「key」）語法加入Spark DataFrames

我需要使用數據框轉換下面的SQL聯接。這個問題是我得到複製「關鍵」列 val result_sql = sparkSession.sql(" select * from TAB_A a left outer join TAB_B b on a.key = b.key AND a.e_date between b.start_date and b.end_date ") result_sql.p