刪除保存特定IP的日誌中的各種數據

我一直在試圖減少防火牆日誌以獲得一系列試圖通過特定端口連接的IP，並且我目前仍然堅持如何完成此操作。我從下面的內容開始，但是喜歡65Gb（在單個文件中）。刪除保存特定IP的日誌中的各種數據

2015-11-30T08:03:03.830844-07:00 192.x.x.x %ASA-4-733100: [ Scanning] drop rate-1 exceeded. Current burst rate is 13 per second, max configured rate is 10; Current average rate is 19 per second, max configured rate is 5; Cumulative total count is 11881 
2015-11-30T08:03:15.886962-07:00 192.x.x.x %ASA-4-405001: Received ARP request collision from 192.x.x.x/x.x.x on interface inside with existing ARP entry 192.x.x.x/x.x.x 
2015-11-30T08:03:23.903154-07:00 192.x.x.x %ASA-4-733100: [ Scanning] drop rate-1 exceeded. Current burst rate is 8 per second, max configured rate is 10; Current average rate is 20 per second, max configured rate is 5; Cumulative total count is 12034 
2015-11-30T08:03:25.595748-07:00 192.x.x.x %ASA-4-106023: Deny udp src outside:17.155.127.223/16387 dst inside:8.x.x.x/xxx by access-group "outside_access_in" [0x0, 0x0]

最終通過一些的grep命令和咳嗽古老的查找和替換在notepadd ++把箱子放到什麼下文在多個文件中

17.155.127.223/16387 dst inside:8.x.x.x/xxx 
17.155.127.223/16387 dst inside:8.x.x.x/xxx 
17.173.255.223/16387 dst inside:8.x.x.x/xxx 
17.173.255.223/16387 dst inside:8.x.x.x/xxx

不完全匹配項以上，但它表明我能刪除時間戳，只保留在端口/ 16387上的事件，現在我被卡住，試圖刪除端口後的所有內容，同時保留源自它的IP，即刪除「dst inide：8.xxx/xxxx」

我試圖使用下面的內容，但它不會在我的輸出文件中進行任何更改。

sed -e "s/16387.*$/-16387/p" FILE > OUTPUTFILE

所以這是我的第一個問題。

爲了解釋我認爲的東西（我對此非常陌生）對於Unix命令（語法？）是不正常的，「而不是」是因爲我在運行Unix命令的Windows上， UnxUtls。至少我認爲這就是爲什麼，嘗試用命令「，但不會工作，直到我用」

我的第二個問題是試圖通過一個文件來看看，只需發送唯一的行到一個文件替換。我試着用下面的命令進行排序，但出於某種原因，我通過UnxUtls得到的排序不能在我的系統上運行，一些臨時目錄錯誤，很可能是由於UnxUtls的一些問題導致的。是否有另一種方法來整理獨特的線條？

sort FILE | uniq > OUTPUTFILE

爲了更好地解釋，從

17.155.127.223/16387 
17.155.127.223/16387 
17.173.255.223/16387 
17.173.255.223/16387

要

17.155.127.223/16387 
17.173.255.223/16387

我找啊找，但無法弄清楚這最後的兩個部分。儘管我能夠完成的大部分工作都來自不同的職位。道歉，如果這太長或不容易理解。

來源

2016-02-03 GTerry

您的'sort | uniq'嘗試應該爲您的'更好地解釋..'例如，對吧？ – Kent

這看起來非常像一套淘汰工具的問題。你描述的東西「應該有效」。 –

它應該從我的理解是，但由於某種原因，來自UnxUtls的排序命令不希望正常工作，有關temp目錄的一些錯誤。谷歌搜索錯誤並沒有給我一個修復工作，但從@sycamorex張貼我認爲我會很好。 – GTerry

您可能在Windows上使用Cygwin更好。您可以通過以下實現兩件事：

~/tmp 
$ cat text.txt 
17.155.127.223/16387 dst inside:8.x.x.x/xxx 
17.155.127.223/16387 dst inside:8.x.x.x/xxx 
17.173.255.223/16387 dst inside:8.x.x.x/xxx 
17.173.255.223/16387 dst inside:8.x.x.x/xxx 


$ awk '{print $1}' text.txt | uniq 
17.155.127.223/16387 
17.173.255.223/16387

awk命令將打印列數1。這將通過管道輸送到uniq的將刪除重複的線路。您也可以使用sort命令對其進行排序。

來源

2016-02-03 20:16:53 sycamorex

這工作，非常感謝。也感謝Cygwin的建議，似乎比我使用的更好。 – GTerry

刪除保存特定IP的日誌中的各種數據

回答

相關問題