如何抓取我內部網站上的所有頁面？

我想打我的內部網站上的每一頁，看看是否有任何拋出錯誤只是看着他們。該網站做自己的錯誤日誌記錄，所以我只需要點擊鏈接。如何抓取我內部網站上的所有頁面？

我正在運行Windows XP和IIS。

讓它公開並等待Google？：P – alex 2010-06-04 04:33:29

您可以使用www.crawlmysite.in。效果不錯 – Tushar 2014-07-09 06:41:02

嘗試IIS SEO工具包。檢查您的網站的搜索引擎優化相關的問題，其中包括斷鏈。

2010-06-04 05:24:29 Tommy

wget --spider <URL>

編輯 - 只注意到你說的窗戶：

2010-06-04 05:00:22 sml

你可能想看看這個： http://stackoverflow.com/questions/762235/how-do-web-spiders-differ-from-wgets-spider – sml 2010-06-04 05:03:41

回答