的讀取和解析VB.net

Question

大分隔符的文本文件，我正忙着與一個應用讀取空間分隔的日誌文件從5MB至1GB +大小，然後將此信息存儲到MySQL數據庫，供以後使用時，根據打印報告根據文件中包含的信息。我嘗試/發現的方法，但速度很慢。

我做錯了什麼？還是有更好的方式來處理非常大的文本文件？

我使用textfieldparser如下嘗試：

Using parser As New TextFieldParser("C:\logfiles\testfile.txt") 
    parser.TextFieldType = FieldType.Delimited 
    parser.CommentTokens = New String() {"#"} 
    parser.Delimiters = New String() {" "} 
    parser.HasFieldsEnclosedInQuotes = False 
    parser.TrimWhiteSpace = True 
    While Not parser.EndOfData 
     Dim input As String() = parser.ReadFields() 
     If input.Length = 10 Then 
      'add this to a datatable 
     End If 
    End While 
End Using 

這工作，但對於較大的文件很慢。

Function GetSquidData(ByVal logfile_path As String) As System.Data.DataTable 
    Dim myData As New DataSet 
    Dim strFilePath As String = "" 
    If logfile_path.EndsWith("\") Then 
     strFilePath = logfile_path 
    Else 
     strFilePath = logfile_path & "\" 
    End If 
    Dim mySelectQry As String = "SELECT * FROM testfile.txt WHERE Client_IP <> """"" 
    Dim myConnection As New System.Data.OleDb.OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & strFilePath & ";Extended Properties=""text;HDR=NO;""") 
     Dim dsCmd As New System.Data.OleDb.OleDbDataAdapter(mySelectQry, myConnection) 
     dsCmd.Fill(myData, "logdata") 
     If Not myConnection.State = ConnectionState.Closed Then 
      myConnection.Close() 
     End If 
    Return myData.Tables("logdata") 
End Function 

Schema.ini文件：

我然後使用結合一個schema.ini文件寫到預先目錄中的OLEDB連接到文本文件按照以下函數試圖

[testfile.txt] 
Format=Delimited() 
ColNameHeader=False 
Col1=Timestamp text 
Col2=Elapsed text 
Col3=Client_IP text 
Col4=Action_Code text 
Col5=Size double 
Col6=Method text 
Col7=URI text 
Col8=Ident text 
Col9=Hierarchy_From text 
Col10=Content text 

任何人有任何想法如何更快地閱讀這些文件？

CNC中 更正上面代碼中的

Answer 1

有兩個潛在的慢操作有：

• 文件閱讀
• 插入大量數據到數據庫

將它們分開，並測試其花費大部分時間。即編寫一個簡單地讀取文件的測試程序，以及另一個只需插入大量記錄的測試程序。看哪一個最慢。

一個問題可能是您正在閱讀的整個文件到內存？

嘗試通過符合的流線閱讀。這裏是一個code example copied from MSDN

Imports System 
Imports System.IO 

Class Test 
    Public Shared Sub Main() 
     Try 
      ' Create an instance of StreamReader to read from a file. 
      ' The using statement also closes the StreamReader. 
      Using sr As New StreamReader("TestFile.txt") 
       Dim line As String 
       ' Read and display lines from the file until the end of 
       ' the file is reached. 
       Do 
        line = sr.ReadLine() 
        If Not (line Is Nothing) Then 
         Console.WriteLine(line) 
        End If 
       Loop Until line Is Nothing 
      End Using 
     Catch e As Exception 
      ' Let the user know what went wrong. 
      Console.WriteLine("The file could not be read:") 
      Console.WriteLine(e.Message) 
     End Try 
    End Sub 
End Class 

Answer 2

一個錯字從我頭上ID頂說嘗試教學貫徹某種線程的傳播工作量。