VB.net에서 큰 구분 된 텍스트 파일 읽기 및 구문 분석

Question

크기가 5MB에서 1GB 크기의 공간 구분 로그 파일을 읽은 다음이 정보를 MySQL 데이터베이스에 저장하여 나중에 보고서를 인쇄 할 때 사용할 수 있습니다 파일에 포함 된 정보에 따라 시도한 방법/발견 한 방법은 매우 느립니다.

내가 잘못 했나요? 또는 매우 큰 텍스트 파일을 처리하는 더 좋은 방법이 있습니까? 나는 다음과 같이 textfieldparser를 사용하려고했습니다

:

이 작동하지만 큰 파일을 매우 느립니다

Using parser As New TextFieldParser("C:\logfiles\testfile.txt") 
    parser.TextFieldType = FieldType.Delimited 
    parser.CommentTokens = New String() {"#"} 
    parser.Delimiters = New String() {" "} 
    parser.HasFieldsEnclosedInQuotes = False 
    parser.TrimWhiteSpace = True 
    While Not parser.EndOfData 
     Dim input As String() = parser.ReadFields() 
     If input.Length = 10 Then 
      'add this to a datatable 
     End If 
    End While 
End Using 

.

Function GetSquidData(ByVal logfile_path As String) As System.Data.DataTable 
    Dim myData As New DataSet 
    Dim strFilePath As String = "" 
    If logfile_path.EndsWith("\") Then 
     strFilePath = logfile_path 
    Else 
     strFilePath = logfile_path & "\" 
    End If 
    Dim mySelectQry As String = "SELECT * FROM testfile.txt WHERE Client_IP <> """"" 
    Dim myConnection As New System.Data.OleDb.OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & strFilePath & ";Extended Properties=""text;HDR=NO;""") 
     Dim dsCmd As New System.Data.OleDb.OleDbDataAdapter(mySelectQry, myConnection) 
     dsCmd.Fill(myData, "logdata") 
     If Not myConnection.State = ConnectionState.Closed Then 
      myConnection.Close() 
     End If 
    Return myData.Tables("logdata") 
End Function 

있는 schema.ini 파일 :

나는 그때 미리 디렉터리에 쓰기있는 schema.ini 파일과 함께 다음과 같은 기능에 따라 텍스트 파일에 인 OleDB 연결을 사용하여 시도

[testfile.txt] 
Format=Delimited() 
ColNameHeader=False 
Col1=Timestamp text 
Col2=Elapsed text 
Col3=Client_IP text 
Col4=Action_Code text 
Col5=Size double 
Col6=Method text 
Col7=URI text 
Col8=Ident text 
Col9=Hierarchy_From text 
Col10=Content text 

누구나 이러한 파일을 더 빨리 읽을 수있는 방법이 있습니까?

-edit-

은 작업 부하를 확산 스레딩 어떤 종류의 impelement하려고 말 내 머리 ID의 정상에서

Answer 1

이 두 시간이 걸리는 작업이 있습니다

• 파일 가장 많은 시간이 걸리는

그들을 분리하고 테스트 DB에 데이터를 많이 삽입

읽고. 나는. 단순히 파일을 읽는 하나의 테스트 프로그램을 작성하고, 많은 레코드를 삽입하는 테스트 프로그램을 작성하십시오. 어느 것이 가장 느린 지보십시오.

하나의 문제는 전체 파일을 메모리로 읽는 것일 수 있습니다.

한 줄씩 스트림으로 읽으십시오. 여기에 당신은 [LOGPARSER] 사용으로 볼 수있는 code example copied from MSDN

Imports System 
Imports System.IO 

Class Test 
    Public Shared Sub Main() 
     Try 
      ' Create an instance of StreamReader to read from a file. 
      ' The using statement also closes the StreamReader. 
      Using sr As New StreamReader("TestFile.txt") 
       Dim line As String 
       ' Read and display lines from the file until the end of 
       ' the file is reached. 
       Do 
        line = sr.ReadLine() 
        If Not (line Is Nothing) Then 
         Console.WriteLine(line) 
        End If 
       Loop Until line Is Nothing 
      End Using 
     Catch e As Exception 
      ' Let the user know what went wrong. 
      Console.WriteLine("The file could not be read:") 
      Console.WriteLine(e.Message) 
     End Try 
    End Sub 
End Class 

Answer 2

위의 코드에 오타가 수정되었습니다.