Spark CSV逃逸不起作用

Question

我在Scala 2.11中使用spark-core 2.0.1版本。我有簡單的代碼來讀取具有\轉義的csv文件。

val myDA = spark.read 
     .option("quote",null) 
    .schema(mySchema) 
    .csv(filePath) 

根據文檔\是csv閱讀器的默認轉義。但它不起作用。 Spark正在閱讀\作爲我的數據的一部分。例如：csv文件中的城市列是north rocks \，au。我期待的城市專欄應該在代碼中寫爲northrocks，au。但取而代之的是火花將其讀取爲northrocks \並將au移動到下一列。

我曾嘗試以下，但沒有奏效：

• 明確定義逃生。選項（ 「越獄」， 「\」）
• 更改越獄|或：在文件和代碼
• 我一直在使用火花CSV庫

任何一個面臨着同樣的問題試過嗎？我錯過了什麼嗎？

謝謝

Answer 1

因此，逃生只能使用引號。如果您想逃避，建議使用引號。

https://github.com/databricks/spark-csv/issues/390