cygwin curl或wget找到404的

Question

我在找一個文本文檔，裏面有一堆引用的URL，看它們是否有404'。如果有404我想獲取試圖放入文本文檔的URL。任何人都可以幫我做到這一點？

我只查找URL，如果它是404，我不希望所有其他輸出wget --spider等給。

Answer 1

腳本

#!/bin/sh 
while read 
do 
    echo "$REPLY" 
    if wget --spider -q "$REPLY" 
    then 
    echo "200 OK" 
    else 
    echo "404 Not Found" 
    echo "$REPLY" >> p404s.txt 
    fi 
    echo 
done < test-urls.txt 

腳本輸出

http://stackoverflow.com 
200 OK 

http://stackoverflow.com/1 
404 Not Found 

http://superuser.com 
200 OK