用多線程加速bash腳本？

我有一個bash腳本，我放在一起合併基於通用過濾器的多個數據包捕獲。我在後端運行daemonlogger，它根據大小滾動pcap文件，所以很難獲取整個圖片，因爲我正在查找的數據可能在一個pcap文件中，其餘的在另一個文件中。最大的抱怨我有無法加速這個過程。它一次只能處理一個pcap。有沒有人有任何關於如何加速多個子進程或多線程的建議？用多線程加速bash腳本？

#!/bin/bash 
echo '[+] example tcp dump filters:' 
echo '[+] host 1.1.1.1' 
echo '[+] host 1.1.1.1 dst port 80' 
echo '[+] host 1.1.1.1 and host 2.2.2.2 and dst port 80' 
echo 'tcpdump filter:' 
read FILTER 
cd /var/mycaps/ 
DATESTAMP=$(date +"%m-%d-%Y-%H:%M") 
# make a specific folder to drop the filtered pcaps in 
mkdir /var/mycaps/temp/$DATESTAMP 
# iterate over all pcaps and check for an instance of your filter 
for file in $(ls *.pcap); do 
     tcpdump -nn -A -w temp/$DATESTAMP/$file -r $file $FILTER 
     # remove empty pcaps that dont match 
     if [ "`ls -l temp/$DATESTAMP/$file | awk '{print $5}'`" = "24" ]; then 
       rm -f "temp/$DATESTAMP/$file" 
     fi 
done 
echo '[+] Merging pcaps' 
# cd to your pcap directory 
cd /var/mycaps/temp/${DATESTAMP} 
# merge all of the pcaps into one file and remove the seperated files 
mergecap *.pcap -w merged.pcap 
rm -f original.* 
echo "[+] Done. your files are in $(pwd)"

來源

2016-02-02 dobbs

不要使用任何東西的輸出。 ls是交互式查看目錄元數據的工具。用代碼解析ls輸出的任何嘗試都被破壞了。 Globs更加簡單且正確： '用於* .txt'中的文件。閱讀[Parsing ls]（http://mywiki.wooledge.org/ParsingLs）。另外，我建議在[Shell Check]（http://www.shellcheck.net/） –

**多線程**上運行腳本**，要求運行時支持在我知道的任何shell中都不可用。你可以做什麼（例如，如chepner的答案所示）不是多線程，而是多處理**。 –

在後臺運行循環體，然後等待所有後臺作業完成後再繼續。

max_jobs=10 # For example 
job_count=0 
for file in *.pcap; do # Don't iterate over the output of ls 
    (tcpdump -nn -A -w temp/"$DATESTAMP"/"$file" -r "$file" $FILTER 
    # remove empty pcaps that don't match. Use stat to get the file size 
    if [ "$(stat -c "%s")" = 24 ]; then 
      rm -f "temp/$DATESTAMP/$file" 
    fi 
    ) & 
    job_count=$((job_count+1)) 
    if [ "$job_count" -gt "$max_jobs" ]; then 
     wait 
     job_count=0 
    fi 
done 
wait

來源

2016-02-02 19:45:39 chepner

故意將FILTER擴展爲無引號？ –

我將如何設置併發後臺進程的限制？ pcap是巨大的和衆多的，如果我不小心，我敢肯定打開所有的m一次會使服務器嘔吐 – dobbs

@CharlesDuffy對於這個問題，是的。我不想進入正確的方式將多個附加參數傳遞給'tcpdump'。 – chepner

用多線程加速bash腳本？

回答

相關問題