從S3複製數據到使用php的紅移

Question

如何將S3文件夾中的CSV文件複製到Redshift並避免重複行？ 我已閱讀有關複製命令，但沒有找到任何有關通過PHP SDK使用它的文檔。

Answer 1

PHP SDK旨在運行管理任務（與Web控制檯相同）。

爲了加載數據，只需使用PostgreSQL連接器連接到數據庫並運行COPY查詢。

避免重複行是另一個問題 - 當前redshift不強制UNIQUE約束，因此源文件中存在的任何行將被添加到目標表中（即使相同的UNIQUE值已經存在）。

文檔提供了一些提示如何導入只喜歡新行：

1. 將數據複製到temp_table;

2. 只插入新的數據：

INSERT INTO dest_table (
    SELECT * from temp_table 
    WHERE key NOT IN (
    SELECT key FROM dest_table 
) 
)