0
如果我試圖抓取並從網站中提取數據,我應該知道每小時發出的請求數量,然後才能找到403禁止的錯誤。有沒有一種方法可以找出網站的價格?如何在nginx阻止我前向網站發出請求數
如果我試圖抓取並從網站中提取數據,我應該知道每小時發出的請求數量,然後才能找到403禁止的錯誤。有沒有一種方法可以找出網站的價格?如何在nginx阻止我前向網站發出請求數
不,每個服務器都有自己的限制。可以有服務器,不介意你在附近,並給他們儘可能多的點擊,只要你喜歡。
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
此外,通常這不是一個好主意,做你想做的事情。
作爲一個便箋,有像Twitter這樣的網站,允許您每天,每小時等n個請求。如果是這種情況,它通常記錄在網站的開發人員文檔中。
看起來太難了 – zywj