主機文件爲所有服務器創建一個唯一的文件

Question

我有許多主機文件。我從所有服務器收集它們，並將它們放在host_files.txt中，然後我必須爲所有服務器創建一個主機文件。

我做這個命令做一個獨特的文件，但有些行共享相同的IP地址或主機名。

awk '!a[$0]++' host_files.txt 

這裏是我的host_files.txt

#backup server IPs 
95.23.23.56 
95.23.23.57 

#ftp server IPs 
45.89.67.5 
45.89.67.3 

#apache 
12.56.35.36 
12.56.35.35 

#ftp server IPs 
95.23.23.50 

#apache 
12.56.35.37 

我要輸出的文件，但我需要保持註釋行

#backup server IPs <= comment line, i need to keep them 
95.23.23.56 
95.23.23.57 

#ftp server IPs <= comment line, i need to keep them 
45.89.67.5 
45.89.67.3 
95.23.23.50 

#apache <= comment line, i need to keep them 
12.56.35.36 
12.56.35.35 
12.56.35.37 

我已經嘗試：

sort -ur host_files.txt 

cat host_files.txt | uniq > ok_host.txt 

我需要ip沒有＃只是n EED IP住址請幫我

在此先感謝

Answer 1

在GNU AWK使用多維數組：

$ awk ' 
/^#/ { k=$0; next }   # group within identical comments, k is key to hash 
/./ { a[k][$1]=$0 }   # remove empty records and hash ips 
END { for(k in a) {   # after everything, output 
      print k 
      for(i in a[k]) 
       print a[k][i] 
    } 
}' file* 
#apache 
12.56.35.35 #apacheprivate 
12.56.35.36 #apachepub 
12.56.35.37 #apachepub 
#ftp server IPs 
45.89.67.3 #ftpssh 
45.89.67.5 #ftpmain 
95.23.23.50 #ftp 
#backup server IPs 
95.23.23.56 #masterbasckup 
95.23.23.57 #agentbasckup 

輸出是隨機的順序，因爲for(k in a)，即。組內的評論組和ips沒有特定的順序。

Answer 2

這將在任何AWK工作：

$ cat tst.awk 
/^#/ { key = $0; next } 
NF && !seen[$0]++ { 
    ips[key] = ips[key] $0 ORS 
} 
END { 
    for (key in ips) { 
     print key ORS ips[key] 
    } 
} 

$ awk -f tst.awk file 
#apache 
12.56.35.36 #apachepub 
12.56.35.35 #apacheprivate 
12.56.35.37 #apachepub 

#ftp server IPs 
45.89.67.5 #ftpmain 
45.89.67.3 #ftpssh 
95.23.23.50 #ftp 

#backup server IPs 
95.23.23.56 #masterbasckup 
95.23.23.57 #agentbasckup 

輸出順序將是隨機的，由於使用in操作的，如果這是它的代碼來改變只是一對夫婦更多的線路有問題。

Answer 3

如果awk不是必需的。

#!/bin/ksh 

cat host_files.txt | while read line ; do 
    [[ $line =~ ^$ ]] && { continue; }    # skip empty lines 
    [[ $line =~ ^# ]] && { group=$line; continue; } # remember the group name 
    print "$group|$line"       # print with group name in front 
done | sort \ 
    | while read line ; do 
     if [[ ${line%\|*} != $last ]]; then   # if the group name changed 
      print "\n${line%\|*}"     # print the group name 
      last=${line%\|*}      # remember the new group name 
     fi 
     print "${line#*\|}"       # print the entry without the group name 
    done 

• 把組名在該行的前
• 排序
• 檢測不斷變化的組名，並打印
沒有組名
• 打印入口

使用相同的概念用awk（避免shell中的while循環）。

awk ' 
    /^#/ { k=$0; next } 
    /./ { print k "|" $0 } 
' host_files.txt | sort | awk -F '|' '{ 
     if (k != $1) { print "\n" $1; k = $1; } 
     print $2 
    }' - 

因爲它不使用數組，所以不會因爲重複的鍵而鬆動線條。

而且，考慮更多一點，可以避免第二個awk。將密鑰添加到每一行。對於不帶'x'的標題。所以標題被排序在其餘的上面。在輸出中，只需刪除添加的排序鍵。

awk ' 
    /^#/ { k=$0; print k "|" $0; next; } 
    /./ { print k "x|" $0 } 
' t18.dat | sort -u | cut -d '|' -f 2