2014-02-14 169 views
0

我面臨的情況是,我們從不同的客戶端獲得大量的CSV文件,但總是有一些與目標表所期望的列數和列長度有關的問題。從csv動態創建表

處理頻繁更改的CSV文件的最佳方法是什麼?我的目標是將這些CSV文件加載到Postgres數據庫中。

我檢查了Postgres中的\ COPY命令,但它確實有一個選項來創建表。

+0

只是爲了澄清:您是否想要加載CSV文件中的所有列(根據需要創建新表)或者只是與您當前的Postgresql表結構匹配的列? – gsiems

+0

你檢查過http://stackoverflow.com/questions/21018256/can-i-automatically-create-a-table-in-postgresql-from-a-csv-file-with-headers? –

回答

0

您可以嘗試創建一個兼容pg_dump的文件,而該文件具有相應的「創建表」部分,並用它來加載數據。

0

當您需要按摩不同種類的數據時,我建議使用外部ETL工具(如CloverETL,Talend Studio或Pentaho Kettle)進行數據加載。

\copy確實用於在已知結構中導入格式良好的數據。