ScraperWiki限制它正在抓取的網站嗎？

Question

ScraperWiki以某種方式自動限制抓取速度，或者我應該在循環中添加諸如sleep（1 * random.random（））之類的東西嗎？

Answer 1

沒有自動限速。您可以添加使用您的語言編寫的睡眠命令以添加速率限制。

很少有服務器檢查速率限制，並且通常包含公共數據的服務器不會。

但是，確保您不會超出遠程服務器是一種很好的做法。默認情況下，刮刀只能在一個線程中運行，因此對可產生的負載有內置的限制。