當使用aws複製命令從平面文件上傳數據時，是否可以驗證列順序

Question

我使用copy命令將數據從壓縮平面文件上傳到紅移，我想了解是否有任何方法可以驗證列文件的順序是否正確？ （例如，如果字段全部爲varchar，則數據可能會上傳到錯誤的列）。

在複製命令documentation它顯示您可以指定列順序，但不是平面文件，但我想知道是否有任何其他方法可以讓我檢查列是如何提供的（例如，只將標題行上傳到一個虛擬表中進行檢查，但這似乎不是一種可能性）。

Answer 1

你不能在Redshift中做到這一點。 COPY不提供任何選項來只加載特定數量的行或執行任何驗證。

您最好的選擇是在安排負載的工具中執行此操作。您可以輕鬆地從壓縮文件中獲得第一行（zcat < file.z|head -1），但對於S3上的文件，您可能必須先下載整個文件。

FWIW，生成加載文件的過程應該完全自動化，以便列順序不能更改。如果這些文件正在手動準備，您正在尋求各種各樣的麻煩。