spark-csv

2熱度

1回答

我有一個流的數據集，從卡夫卡閱讀並試圖寫入CSV case class Event(map: Map[String,String]) def decodeEvent(arrByte: Array[Byte]): Event = ...//some implementation val eventDataset: Dataset[Event] = spark .readStream

0熱度

1回答

計數拋出java.lang.NumberFormatException：空上從對象存儲器裝載有則InferSchema文件啓用

來自IBM藍色裝入混合對象存儲一個數據幀的計數（）拋出時則InferSchema啓用了以下情況例外： Name: org.apache.spark.SparkException Message: Job aborted due to stage failure: Task 3 in stage 43.0 failed 10 times, most recent failure: Lost tas

3熱度

2回答

如何保存CSV與所有引用的字段？

下面的代碼不會添加默認的雙引號。我還嘗試使用選項quote添加＃和單引號，但沒有成功。我還用quoteMode與ALL和NON_NUMERIC選項，輸出仍然沒有變化。 s2d.coalesce(64).write .format("com.databricks.spark.csv") .option("header", "false") .save(fname)

0熱度

3回答

星火不讀取與空值的列在第一行

下面是我的csv文件內容： A1,B1,C1 A2,B2,C2,D1 A3,B3,C3,D2,E1 A4,B4,C4,D3 A5,B5,C5,,E2 因此，有5列，但僅3中的第一行中的值。我讀它使用下面的命令： val csvDF : DataFrame = spark.read .option("header", "false") .option("delimiter", ",

0熱度

1回答

如何在火花數據框csv輸出和UTF-8-BOM編碼中添加特殊字符分隔符

我必須使用「|^|」分隔符將我的火花數據幀輸出寫入csv文件。我想要這樣做。 df.write.format("csv").option("delimiter", "\\|\\^\\|") 但是，得到下面的錯誤 java.lang.IllegalArgumentException異常：不支持的特殊字符分隔符：\ | \^\ | 如何在默認情況下添加UTF-8-BOM編碼輸出文件爲UTF-8？

-1熱度

1回答

在不工作的火花數據幀與空值替換空值

我有兩個數據集，數據集1如下 LineItem.organizationId|^|LineItem.lineItemId|^|StatementTypeCode|^|LineItemName|^|LocalLanguageLabel|^|FinancialConceptLocal|^|FinancialConceptGlobal|^|IsDimensional|^|InstrumentId|^|

0熱度

1回答

如何用另一個數據幀頭更改數據幀的標題？

我有一個數據集，它看起來像這樣 LineItem.organizationId|^|LineItem.lineItemId|^|StatementTypeCode|^|LineItemName|^|LocalLanguageLabel|^|FinancialConceptLocal|^|FinancialConceptGlobal|^|IsDimensional|^|InstrumentId|^|

1熱度

1回答

將火花數據幀中每個分區的記錄寫入一個xml文件

我必須在火花數據框中的每個分區的文件中執行記錄計數，然後我必須將輸出寫入xml文件。這是我的數據框。 dfMainOutputFinalWithoutNull.coalesce(1).write.partitionBy("DataPartition","StatementTypeCode") .format("csv") .option("nullValue", "")

1熱度

2回答

Spark 2.1無法在CSV上寫入矢量字段

當我偶然發現與Dataframe保存相關的問題時，我將Spark 2.0中的代碼遷移到2.1。下面的代碼使用星火2.0.0 時，使用星火2.1.0.cloudera1 import org.apache.spark.sql.types._ import org.apache.spark.ml.linalg.VectorUDT val df = spark.createDataFrame(Se

0熱度

3回答

Spark CSV包無法處理字段中的\ n

我有一個CSV文件，我嘗試使用Spark CSV package加載，並且它沒有正確加載數據，因爲其中的幾個字段中有\n。下面兩行 "XYZ", "Test Data", "TestNew\nline", "OtherData" "XYZ", "Test Data", "blablablabla \nblablablablablalbal", "OtherData" 我使用下面的代碼在網上