查找並從列表（或其他文件）中找到並替換匹配的多個參數

Question

我寫了一個簡單的shell腳本，可以工作，但效率非常低。在較大的文件上運行需要很長時間。我正在尋找更快的解決方案。

樣品輸入文件：

data.csv：

1,data,data 
3,data,data 
4,data,data 
9,data,data 
... 

matches.txt：

3 
9 
16 
17 
... 

腳本我的每個項目寫道迭代中matches.txt。它使用sed來匹配csv文件中的行的開頭，並通過預先加上**進行註釋。

#!/bin/bash 

IFS=$'\r\n' GLOBIGNORE='*' :; XYZ=$(<matches.txt) 
for id in ${XYZ[@]} 
do 
    sed -i '' "${id}s/^**//" data.csv 
done 

我使用OS X所以sed參數稍有不同。

Answer 1

而不是在循環中調用sed您可以使用此AWK：

awk -F ',' 'FNR==NR{a[$1]++; next} $1 in a{$0 = "**" $0} 1' matches.txt data.csv 
1,data,data 
**3,data,data 
4,data,data 
**9,data,data 

要保存awk輸出：

awk -F ',' 'FNR==NR{a[$1]++; next} $1 in a{$0 = "**" $0} 1' matches.txt data.csv > _tmp 
mv _tmp data.csv 

說明：

• -F ',' - 使用字段分隔符作爲逗號
• FNR==NR - 執行該程序段的第一個文件
• {a[$1]++; next} - 創建密鑰數組作爲$1從第一文件和移動到下一行
• $1 in a{$0 = "**" $0} - 對於第二文件，如果第一字段是在陣列a然後在當前行中加上**。
• 1 - 默認awk動作（打印行）