導入到數據表使用OLEDB /噴氣

Question

我寫了OLEDB短函數，它應該讀大量的數據，但仍然有幾個問題我couldnt't解決，這是關於閱讀和插入分號在SQL數據庫

分離數據

Private Function GetCSVFile(ByVal file As String) As DataTable 

     Try 
      Dim dt As New DataTable 
      Dim ConStr As String = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & TextBox1.Text & ";Extended Properties=""TEXT;HDR=Yes;FMT=Delimited""" 
      Dim conn As New OleDb.OleDbConnection(ConStr) 

      Dim da As New OleDb.OleDbDataAdapter("Select * from " & _table & ".csv", conn) 
      da.Fill(dt) 
      Application.DoEvents() 
      getData = dt 
     Catch ex As OleDbException 
      MessageBox.Show(ex.Message) 
     Catch ex As Exception 
      MessageBox.Show(ex.Message) 
     End Try 
     Return getData 
    End Function 

1.它讀取整個文件，但我需要告訴函數，它應該只讀取50.000行並將它們傳遞給另一個步驟的步驟，它應該可能更好地工作for循環，因爲jet oledb不讀取文件大於1 GB

1. 我需要替換字符

 
    value(i) = value(i).Replace("\t", Constants.vbTab).Replace("\n", Constants.vbLf).Replace("\r", Constants.vbCr).Replace("\""", """").Replace("\\", "\") 

但它通常僅適用於字符串

我需要認識到的數據類型，如整數，雙，字符串等我的第一個想法是做在SQL查詢和檢查在表的TryParse

 

    Dim dtInserts As DataTable = db.GetDataTable("SELECT TOP 0 * FROM " & _table) 
      Dim ListOfTypes As New List(Of System.Type) 
    For Each _col As DataColumn In dtInserts.Columns 
       Dim _type As System.Type = _col.DataType 
       ListOfTypes.Add(_type) 
      Next 
      Dim _wert1 As String = "11.11.2011" 
      Dim _type1 As System.Type = ListOfTypes.Item(1) 
      If DateTime.TryParse(_wert1, New Date) Then 
      End If 

，但仍不能確定是否會工作

所有已讀取的數據都應在1252代碼頁中進行編碼。 這一次並沒有真正的工作

 
    Dim ConStr As String = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & TextBox1.Text & ";Extended Properties=""TEXT;HDR=Yes;FMT=Delimited;CODEPAGE=1252""" 

任何人知道什麼可以做？

Answer 1

CSVHelper可以做它聽起來像你想要的大部分。 FileHelpers也可能工作，我只是沒有與它合作。我不會推薦VB的TextFieldParser，因爲它返回一個字符串數組而不是鍵入的數據。

OleDB提供了一種很好的導入方式，但是保存到數據庫中提出了一個小挑戰。所有加載的行將有一個RowState的Unchanged。要改變，要Added的唯一方法是將行復制到一個新表：

For Each dr As DataRow In dtCSV.Rows 
    dtDest.Rows.Add(dr.ItemArray) 
Next 

它將工作，但作爲一個結果，你將有2個表和所有那些在一次加載行。事實證明，使用CSVHelper和一個簡單的INSERT查詢是最經濟的 - 因爲記錄是從IEnumerable<T>中獲取的，所以一次只能加載1個源記錄。它也比複製行快一點：500k行速度快了20％。

注意：除了用分號分隔外，我們不知道數據是什麼樣子的......而且顯然有很多。

Using sr As New StreamReader(CSVFilePath, False), 
    csv As New CsvReader(sr) 

    ' some CSVHelper config options 
    csv.Configuration.HasHeaderRecord = True 
    csv.Configuration.TrimFields = True 
    csv.Configuration.TrimHeaders = True 
    csv.Configuration.Delimiter = ";" 
    csv.Configuration.IsHeaderCaseSensitive = False 
    csv.Configuration.RegisterClassMap(Of RandItem.RandItemMap)() 

    ' get the file into IEnumerable collection 
    Dim csvData = csv.GetRecords(Of OleImportItem)() 

    Dim SQL = <sql> 
       INSERT INTO RandomData 
        (Foo, Bar, Cat, Dog...) 
       VALUES 
        (@p1, @p2, @p3, @p4...) 
      </sql>.Value 

    Using dbcon As New OleDbConnection(ACEConnStr) 
     Using cmd As New OleDbCommand(SQL, dbcon) 
      dbcon.Open() 

      ' create the parameters 
      cmd.Parameters.Add("@p1", OleDbType.VarChar) 
      cmd.Parameters.Add("@p2", OleDbType.VarChar) 
      cmd.Parameters.Add("@p3", OleDbType.Integer) 
      cmd.Parameters.Add("@p4", OleDbType.Integer) 
      ... 
      ' load one item at a time, to save it 
      For Each item In csvData 
       cmd.Parameters("@p1").Value = item.Foo 
       cmd.Parameters("@p2").Value = item.Bar 
       cmd.Parameters("@p3").Value = item.Cat 
       cmd.Parameters("@p4").Value = item.Dog 
       ... 
       cmd.ExecuteNonQuery() 
      Next 
     End Using 
    End Using 
End Using 

我不能就如何使用它完整的教程，但一般而言，您創建一個類型（類），它定義了數據類型爲每列（在這裏，RandItem），該RandItemMap是另一個類指定文件中這些屬性的順序。這樣做，CSVHelper知道每列的數據類型，並將爲您轉換。

有幾種方法來使用它，這種方式是讀一行在從文件時間，並立即保存該項目到數據庫：csvData = csv.GetRecords(Of OleImportItem)()初始化csvData作爲IEnumberable(Of RandItem)，所以只有一個項目在加載在循環中的時間，這使得它非常經濟。

在循環中，代碼從csv文件中獲得一個類型item，然後將其映射到相應的參數並保存。這比將數據批量複製並保存到DataTable快20％左右;並且由於只有1個項目被加載，因此內存密集程度要低得多。

---

對於較小的CSV文件，你可以使用.ToArray()或ToList()將文件加載到集合。

注意導入/解析沒有標題的文本文件與示例有點不同，但同樣簡單。

聽起來像CSVHelper可能會避免洗衣清單中的大多數問題。