過濾大量的linux日誌文件

Question

我有用戶輸入到列表中的項目，它想過濾掉。從那裏，它過濾使用：

while knownIssuesCounter != len(newLogFile): 
    for line in knownIssues: 
     if line in newLogFile[knownIssuesCounter]: 
      if line not in issuesFound: 
       issuesFoundCounter[line]=1 
       issuesFound.append(line) 
       issuesFound.append(knownIssues[line]) 
      else: 
       issuesFoundCounter[line]=issuesFoundCounter[line] + 1 
    knownIssuesCounter +=1 

我運行到幾百梅格日誌文件，並且它永遠走..... 有沒有更好的辦法是使用Python這樣做呢？

Answer 1

嘗試從列表中更改issuesFound設置：

issuesFound = set() 

，並使用add代替append：

issuesFound.add(line) 

Answer 2

的代碼是如此緩慢的一個重要原因，就是if line not in issuesFound:。這需要通過一個巨大的列表進行線性搜索。

您可以通過添加set看到的問題（這是有效的免費搜索）來解決該問題。這會將您的時間從O（NM）減少到O（N）。

但實際上，您可以通過完全刪除if來簡化操作。

首先，您可以根據issuesFoundCounter的鍵值生成issuesFound列表。對於issuesFoundCounter中的每一行，您需要該行，然後是其knownIssues[line]。所以：

issuesFound = list(flatten((line, knownIssues[line]) for line in issuesFoundCounter)) 

（我使用從itertools文檔的flatten配方您可以複製到你的代碼，或者你可以寫這與itertools.chain.from_iterable代替flatten。）

，這意味着你可以搜索if line not in issuesFoundCounter:而不是in issuesFound:，這已經是dict（因此可以有效地免費搜索）。但是，如果您只使用setdefault - 或者更簡單，則可以使用defaultdict或Counter而不是dict - 您可以自動進行此操作。

所以，如果issuesFoundCounter是Counter，整個事情簡化爲這樣：

for newLogLine in newLogFile: 
    for line in knownIssues: 
     if line in newLogLine: 
      issuesFoundCounter[line] += 1 

而且你可以把它轉換成一臺發電機的表達，從而消除在Python緩慢上下的明確循環裏面的快循環口譯員的膽量。這只是將是，比如說，一個固定的5：1的加速，而不是從上半年的線性 - 不斷加速，但它仍然是值得考慮的：

issuesFoundCounter = collections.Counter(line 
             for newLogLine in newLogFile 
             for line in knownIssues 
             if line in newLogLine) 

與此唯一的問題是issuesFound列表現在按照任意順序排列，而不是按照發現問題的順序排列。如果這很重要，只需使用OrderedCounter而不是Counter。有一個簡單的配方在collections文檔，但是對於你的情況，因爲它可以作爲簡單：

class OrderedCounter(Counter, OrderedDict): 
    pass