刮網站的要求/第二標準是什麼？

Question

這是我的問題最接近的問題，它並沒有真正回答得很好IMO：

Web scraping etiquette

我在尋找的答案＃1：

多少請求/秒你應該做什麼刮？

現在我從一個鏈接隊列拉。每個被刮掉的站點都有自己的線程，並在請求之間休眠1秒。我要求gzip壓縮以節省帶寬。

有沒有這方面的標準？當然，所有的大型搜索引擎都有一些他們遵循的準則。

Answer 1

對此沒有設定標準，這取決於網頁抓取的負載量。只要你沒有明顯地影響其他用戶的網站速度，它應該是一個可接受的抓取速度。

由於網站上的用戶數量和負載持續波動，因此動態調整抓取速度是個不錯的主意。

監控下載每個頁面的延遲時間，並且如果等待時間開始增加，開始降低您的抓取速度。實質上，網站的負載/延遲應該與您的搜刮速度成反比。

Answer 2

當我的客戶/老闆要求我做這樣的事情時，我通常會尋求一個公共API，然後再訴諸公共網站。同時聯繫網站所有者或技術聯繫人，並要求允許這樣做將使「停止和停止」信件保持最低限度。

Answer 3

的wikipedia article on web crawling具有大約別人在做什麼的一些信息：

卓[22]採用了10秒鐘的 間隔爲訪問，並且導線 履帶[28]使用了15個秒鐘的 默認。 MercatorWeb搜尋器 遵循適應性禮貌策略： 如果從給定服務器下載 文檔需要t秒，則 搜尋器會在 下載下一頁之前等待10秒。 Dill et al。 [30]使用1秒。

我通常嘗試5秒鐘，隨機一點，所以看起來不那麼可疑。