bash腳本優化

Question

這是有問題的腳本：

for file in `ls products` 
do 
    echo -n `cat products/$file \ 
    | grep '<td>.*</td>' | grep -v 'img' | grep -v 'href' | grep -v 'input' \ 
    | head -1 | sed -e 's/^ *<td>//g' -e 's/<.*//g'` 
done 

我要上50000+的文件，這將需要大約12小時，此腳本運行。

的算法如下：

1. 查找表含有細胞（<td>）僅行不包含任何「IMG」，「href」屬性，或「輸入」的。
2. 選擇其中的第一個，然後提取標籤之間的數據。

通常的bash文本過濾器（sed，grep，awk等）以及perl都可用。

Answer 1

貌似可以全部由一個gawk的命令來替換：

gawk ' 
    /<td>.*<\/td>/ && !(/img/ || /href/ || /input/) { 
     sub(/^ *<td>/,""); sub(/<.*/,"") 
     print 
     nextfile 
    } 
' products/* 

此用途gawk擴展nextfile。

如果通配符膨脹過大，那麼

find products -type f -print | xargs gawk '...' 

Answer 2

下面是一些快速perl來做整個事情，應該更快。

#!/usr/bin/perl 

process_files($ARGV[0]); 

# process each file in the supplied directory 
sub process_files($) 
{ 
    my $dirpath = shift; 
    my $dh; 
    opendir($dh, $dirpath) or die "Cant readdir $dirpath. $!"; 
    # get a list of files 
    my @files; 
    do { 
    @files = readdir($dh); 
    foreach my $ent (@files){ 
     if (-f "$dirpath/$ent"){ 
     get_first_text_cell("$dirpath/$ent"); 
     } 
    } 
    } while ($#files > 0); 
    closedir($dh); 
} 

# return the content of the first html table cell 
# that does not contain img,href or input tags 
sub get_first_text_cell($) 
{ 
    my $filename = shift; 
    my $fh; 
    open($fh,"<$filename") or die "Cant open $filename. $!"; 
    my $found = 0; 
    while ((my $line = <$fh>) && ($found == 0)){ 
    ## capture html and text inside a table cell 
    if ($line =~ /<td>([&;\d\w\s"'<>]+)<\/td>/i){ 
     my $cell = $1; 

     ## omit anything with the following tags 
     if ($cell !~ /<(img|href|input)/){ 
     $found++; 
     print "$cell\n"; 
     } 
    } 
    } 
    close($fh); 
} 

只需通過將目錄調用它要搜索的第一個參數：

$ perl parse.pl /html/documents/ 

Answer 3

（應該是更快，更清晰）這個是什麼：

for file in products/*; do 
    grep -P -o '(?<=<td>).*(?=<\/td>)' $file | grep -vP -m 1 '(img|input|href)' 
done 

• 的for將目光中的每個文件products 。 查看與您的語法的區別。
• 第一個grep將只輸出<td>和</td>之間的文本，只要每個單元格在一行中就沒有這些標籤。
• 終於第二grep將輸出只是第一線（這是什麼，我相信你想與head -1來實現）不包含img，href或input（將正確的出口則減少了這些線總的時間允許更快地處理下一個文件）

我會喜歡使用一個單一的grep，但然後正則表達式會非常糟糕。 :-)

免責聲明：當然，我沒有測試它