什麼是執行HTTP請求並檢查404的最快方式？

最近我需要檢查一個巨大的文件名列表，如果它們存在於服務器上。我通過運行一個for循環來嘗試這些文件的每個文件。這很有效，但在這種情況下花了大約30分鐘。我想知道是否有更快的方法來檢查文件是否存在（因爲wget是用於下載文件並且不執行成千上萬的請求）。我不知道這些信息是否相關，但它是一個Apache服務器。什麼是執行HTTP請求並檢查404的最快方式？

來源

2016-04-16 Tomasz Garbus

這應該有所幫助：http://superuser.com/questions/197009/wget-head-請求，尤其是[這個答案]（http://superuser.com/a/797372/15774） –

捲曲將是一個for循環的最佳選擇，這裏是一個簡單的簡單方法，在你的for循環運行此

curl -I --silent http://www.yoururl/linktodetect | grep -m 1 -c 404

什麼這個根本的作用是檢查HTTP響應頭爲404返回上該鏈接，如果它檢測爲缺少的文件/鏈接投擲404然後命令行輸出將顯示你一個數字1;否則，如果文件/鏈接有效並且不返回404，則命令行輸出將顯示一個數字0.

來源

2016-04-16 15:26:52

什麼是執行HTTP請求並檢查404的最快方式？

回答

相關問題