打印行號模1000000

Question

我有一個非常我正在使用grep處理大型壓縮文件。

zcat blah.gz | grep -e pattern | gzip -c > pattern.gz 

我想打印的東西stderr爲每處理萬條左右輸入線，只是爲了跟蹤進度。有任何想法嗎？

Answer 1

嘗試pv。它默認爲字節，但有一個開關來使它成爲線。

Answer 2

更換的grep有：

 
perl -ne 'print if /pattern/; print STDERR "." if $. % 1000000 == 0' 

Answer 3

的mbuffer(1)工具可能是東西給你。引用一些摘要：

mbuffer工具用於緩衝數據流並向用戶顯示I/O速率和摘要。這對於將備份寫入 快速磁帶驅動器或通過網絡進行流式傳輸尤其有用。如果使用得當， 它可以防止緩衝區欠載並加速整個備份或傳輸過程。

Answer 4

運行它通過AWK：

zcat blah.gz | awk 'BEGIN {x = 1}; {if ((x++ % 1000000) == 0) print x " " $0 > "/dev/stderr"; print $0 }' | grep -e pattern | gzip -c > pattern.gz