python解析大日誌以提取某些模式

Question

我有大系統日誌（最大1GB），我需要解析它以提取某些東西。

最初我寫的Python代碼逐行讀取文件中的行（開放使用）花了非常非常長的時間

我瞭解MMAP和使用mmap它採取大約5分鐘。

（我已預編譯的正則表達式來節省時間）

有沒有更好的方法，以便它需要較少的時間？ （我正在使用python 2.7.3 32位）

Answer 1

您可能想使用awk來處理那種事情，它或多或少是它設計的。