Python - 在單行/多行文件中讀取文件

Question

我對Python非常陌生，我已經在這裏找到了大多數問題的答案，但是這個問題讓我很難過。

我處理使用Python的日誌文件，一般每行以日期/時間戳記，如啓動：

[1/4/13 18:37:37:848 PST] 

99例的％我可以逐行讀取，尋找感興趣的項目和相應地處理它們，但是偶爾在日誌文件中的條目將包括具有回車符/換行符的消息，因爲它將跨越多行。

有沒有一種方法可以輕鬆讀取「時間戳」之間的文件，以便在出現這種情況時多條線會合併到一個讀取中？例如：

[1/4/13 18:37:37:848 PST] A log entry 
[1/4/13 18:37:37:848 PST] Another log entry 
[1/4/13 18:37:37:848 PST] A log entry that somehow 
got some new line 
characters mixed in 
[1/4/13 18:37:37:848 PST] The last log entry 

將被讀作四行而不是六行，因爲它現在是。

在此先感謝您的幫助。

克里斯，

更新....

myTestFile.log包含上面完全​​相同的文字，這裏是我的腳本：

import sys, getopt, os, re 
sourceFolder = 'C:/MaxLogs' 
logFileName = sourceFolder + "/myTestFile.log" 
lines = [] 

def timestamp_split(file): 
    pattern = re.compile("\[(0?[1-9]|[12][0-9]|3[01])(\/)(0?[1-9]|[12][0-9]|3[01])(\/)([0-9]{2})(\)") 
    current = [] 
    for line in file: 
     if not re.match(pattern,line): 
      if current: 
       yield "".join(current) 
      current == [line] 
     else: 
      current.append(line) 
    yield "".join(current) 

print "--- START ----" 
with open(logFileName) as file: 
    for entry in timestamp_split(file): 
     print entry 
     print "- Record Separator -" 
print "--- DONE ----" 

當我運行它，我得到這個：

--- START ---- 
[1/4/13 18:37:37:848 PST] A log entry 
[1/4/13 18:37:37:848 PST] Another log entry 
[1/4/13 18:37:37:848 PST] A log entry that somehow 

- Record Separator - 
[1/4/13 18:37:37:848 PST] A log entry 
[1/4/13 18:37:37:848 PST] Another log entry 
[1/4/13 18:37:37:848 PST] A log entry that somehow 

- Record Separator - 
[1/4/13 18:37:37:848 PST] A log entry 
[1/4/13 18:37:37:848 PST] Another log entry 
[1/4/13 18:37:37:848 PST] A log entry that somehow 
[1/4/13 18:37:37:848 PST] The last log entry 
- Record Separator - 
--- DONE ---- 

我似乎是迭代了太多次，我期待（希望）f或者是這樣的：

--- START ---- 
[1/4/13 18:37:37:848 PST] A log entry 
- Record Separator - 
[1/4/13 18:37:37:848 PST] Another log entry 
- Record Separator - 
[1/4/13 18:37:37:848 PST] A log entry that somehow got some new line characters mixed in 
- Record Separator - 
[1/4/13 18:37:37:848 PST] The last log entry 
- Record Separator - 
--- DONE ---- 

如在我意外地與來自時我測試正則表達式模式的比較離開不評價所討論的，如果刪除它，然後我得到的所有其迷惑局部線的我更多！

--- START ---- 
got some new line 
characters mixed in 

- Record Separator - 
got some new line 
characters mixed in 

- Record Separator - 
--- DONE ---- 

Answer 1

要做到這一點，最簡單的辦法是實現一個簡單的發電機要做到這一點：

def timestamp_split(file): 
    current = [] 
    for line in file: 
     if line.startswith("["): 
      if current: 
       yield "".join(current) 
      current == [line] 
     else: 
      current.append(line) 
    yield "".join(current) 

當然，這是假定"["在一行的開頭就足以表示一個標記 - 你可能想做一個更重要的檢查。

然後，只需做一些事情，如：（這裏使用the with statement - 一個很好的做法打開文件）

with open("somefile.txt") as file: 
    for entry in timestamp_split(file): 
     ... 

Answer 2

import re 

lines = [] 
pattern = re.compile('\[\d+/\d+/\d+\s\d+:\d+:\d+\s\w+\]') 
with open('filename.txt', 'r') as f: 
    for line in f: 
     if re.match(pattern, line): 
      lines.append(line) 
     else: 
      lines[-1] += line 

這與正則表達式匹配的時間戳。可以根據需要進行調整。它還假定第一行包含時間戳。