刪除雙引號「，同時將數據加載到Amazon Redshift Spectrum

Question

我想將數據加載到amazon redshift外部表格中。數據爲CSV格式並帶有引號。 我們是否有類似REMOVEQUOTES的內容， 表。還什麼不同的選擇在外部表裝入固定長度的數據。

Answer 1

創建外部譜表，您應該引用雅典娜提供的CREATE TABLE語法。要加載CSV逃脫雙引號，你應該使用您的以下行ROW FORMAT

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = ',', 
    'quoteChar' = '\"', 
    'escapeChar' = '\\' 
) 

對於固定長度的文件，您應該使用RegexSerDe。在這種情況下，CREATE TABLE語句的相關部分將如下所示（假設3個字段的長度爲100）。

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ("input.regex" = "(.{100})(.{100})(.{100})")