搜索字符串大型日誌文件

Question

各位程序員，您好！ 我需要針對日誌文件問題的解決方案。 這是一個基於unix的環境。 HP-UX。 有一個包含每日創建的日誌文件的特定目錄，並根據需要添加消息和錯誤。 這些文件可以大到1GB的文本。 我需要找到一個特定的短語。 你會如何建議我這樣做？

系統人員建議我不要使用簡單的GREP，因爲這會在每5分鐘的搜索週期內導致高CPU使用率。

我能在這種情況下做什麼？

Answer 1

如果該短語僅在一行中，則很簡單。只需逐行讀取文件並在每行上測試正則表達式，直到找到它。 喜歡的東西：

open(F, '<FILENAME>') or die "can't open file : $!"; 
while (my $line = <F>) { 
    if ($line =~ /<MYREGEXP>/) { 
     // regexp found 
    } 
} 

Answer 2

使用GNU parallel（見the parallel grep example）在塊輸入和實驗與--jobs，--load和--nice選擇拆分。