如何從CSV中批量插入一些字段具有換行符時？

Question

我有一個CSV從另一個DB看起來像這樣（ID，姓名，備註）轉儲：

1001,John Smith,15 Main Street
1002,Jane Smith,"2010 Rockliffe Dr.
Pleasantville, IL
USA"
1003,Bill Karr,2820 West Ave.

最後一個字段可以包含回車和逗號，在這種情況下，它是由雙引號包圍。我需要保留這些回報和逗號。

我使用此代碼導入CSV到我的表：

BULK INSERT CSVTest 
FROM 'c:\csvfile.csv' 
WITH 
(
    FIELDTERMINATOR = ',', 
    ROWTERMINATOR = '\n' 
) 

的SQL Server 2005 BULK INSERT無法弄清楚，引號裏的回車符行終止。
如何克服？

---

UPDATE：
貌似保持場內換行符的唯一方式是使用不同的行分隔符。所以，我想通過在它們前面放置一個管道來標記所有行來分隔換行符。我怎樣才能改變我的CSV看起來像這樣？

1001,John Smith,15 Main Street|
1002,Jane Smith,"2010 Rockliffe Dr.
Pleasantville, IL
USA"|
1003,Bill Karr,2820 West Ave.|

Answer 1

確定，這裏就是我寫出來解決問題的一個小型的Java程序。
歡迎評論，更正和優化。

import java.io.*; 

public class PreBulkInsert 
{ 
    public static void main(String[] args) 
    { 
     if (args.length < 3) 
     { 
      System.out.println ("Usage:"); 
      System.out.println (" java PreBulkInsert input_file output_file separator_character"); 
      System.exit(0); 
     } 

     try 
     { 
      boolean firstQuoteFound = false; 
      int fromIndex; 
      int lineCounter = 0; 
      String str; 

      BufferedReader in = new BufferedReader(new FileReader(args[0])); 
      BufferedWriter out = new BufferedWriter(new FileWriter(args[1])); 
      String newRowSeparator = args[2]; 

      while ((str = in.readLine()) != null) 
      { 
       fromIndex = -1; 
       do 
       { 
        fromIndex = str.indexOf('"', fromIndex + 1); 
        if (fromIndex > -1) 
         firstQuoteFound = !firstQuoteFound; 
       } while (fromIndex > -1); 

       if (!firstQuoteFound) 
        out.write(str + newRowSeparator + "\r\n"); 
       else 
        out.write(str + "\r\n"); 
       lineCounter++; 
      } 
      out.close(); 
      in.close(); 
      System.out.println("Done! Total of " + lineCounter + " lines were processed."); 
     } 
     catch (IOException e) 
     { 
      System.out.println(e.getMessage()); 
      System.exit(1); 
     }  
    } 
} 

Answer 2

根據所有知識（維基百科）源，csv採用新的生產線分開記錄。所以你有什麼是不正確的csv。

我的建議是，你寫一個perl程序來處理你的文件，並將每個記錄添加到分貝。

如果你不是一個Perl人，那麼你可以使用一個編程站點或看看是否有人會爲你編寫程序的解析部分。

補充：

可能的解決方案

由於OP指出，他可以改變輸入文件，我想改變這一切，不遵循「是保留字符序列，新線如XXX

這在很多編輯器的自動更換。在Windows，用UltraEdit包括正則表達式查找/替換功能

然後導入到數據庫管理系統，因爲你會ñ更長的嵌入式新行。

然後使用SQL Replace將XXX出現次數更改回新行。

Answer 3

SQL Server上的批量操作並不特別支持CSV，即使它們可以在文件仔細格式化時導入它們。我的建議是將所有字段值用引號括起來。 BULK INSERT可能會允許在一個字段值內回車。如果沒有，那麼您的下一個解決方案可能是一個Integration Services包。

有關更多信息，請參閱Preparing Data for Bulk Export or Import。

Answer 4

除非CSV格式有效，否則無法導入。因此，您必須修復轉儲或手動使用搜索&替換修復不需要的新行字符。

Answer 5

如果您可以控制CSV文件的內容，則可以使用非換行符（可能只是CR或LF）替換現場換行符（CRLF），然後在導入後運行腳本至再次用CRLF替換它們。

這就是MS Office產品（Excel，Access）處理此問題的方式。

Answer 6

您可以用腳本將這些換行符按摩到一行中，例如，您可以使用GNU sed刪除換行符。例如

$ more file 
1001,John Smith,15 Main Street 
1002,Jane Smith,"2010 Rockliffe Dr. 
Pleasantville, IL 
USA" 
1003,Bill Karr,"2820 
West Ave" 

$ sed '/"/!s/$/|/;/.*\".*[^"]$/{ :a;N };/"$/ { s/$/|/ }' file 
1001,John Smith,15 Main Street| 
1002,Jane Smith,"2010 Rockliffe Dr. 
Pleasantville, IL 
USA"| 
1003,Bill Karr,"2820 
West Ave"| 

然後你可以批量插入。

編輯：

保存此：/"/!s/$/|/;/.*\".*[^"]$/{ :a;N };/"$/ { s/$/|/ }在一個文件，說myformat.sed。那麼這樣做在命令行上

​​