如何使用screamingfrog抓取內部網？

Question

我正在嘗試抓取url.prod.companyname.com.au（內部網站）上可用的內部網站點。

只是想知道這是否有可能使用任何網絡爬蟲？

Answer 1

如果您在位於您公司網關的路由器（或者如果終端和客戶端位於其中的子網內）中設置DNS記錄以將特定域指向內部IP，那麼這絕對是可行的。

這是一個帶有DD-WRT的example。