1. 首頁
  2. 問答
  3. 我使用Scrapy抓取數據，但是服務器阻止我的IP

我使用Scrapy抓取數據，但是服務器阻止我的IP

2016-02-05 38 views

回答

1

它是路由器的公共IP被阻塞。

在這種情況下有兩個網絡。

一，公共互聯網 - 服務器（託管您抓取的網站）連接。

二，您的私人家庭網絡 - Mac連接的位置。

您的路由器充當您的私人家庭網絡到互聯網的網關，從而幫助您的Mac與服務器通話。

要充當「網關」，路由器將有兩個IP地址。一個私人IP地址爲您的家庭網絡和一個公共IP地址。公共IP地址是服務器可見的。在服務器的觀點中，公共IP地址來自抓取請求的來源。

因此它是被阻塞的路由器的公有IP。

也請尊重網站的服務條款並負責任地抓取。

如果你不想得到禁止做嘗試在settings.py以下設置：

  1. 限制CONCURRENT_REQUESTS
  2. 設置DOWNLOAD_DELAY

參考：http://doc.scrapy.org/en/latest/topics/settings.html

來源

2016-02-05 17:41:23 raghulmz

+0

實際上，我是通過我的學校網絡抓取數據的，所以你的意思是服務器禁止我學校路由器下的所有IP地址？那是對的嗎？？ –

+0

假設你的學校只有一個網關和一個公共地址，是的。你學校的每個人都可能被禁止。但學校通常有許多網關和IP地址。 – raghulmz

1

它會得到您的互聯網提供商提供的地址，所以您的公共IP。可以檢查這個帖子：Get proxy ip address scrapy using to crawl

來源

2016-02-05 15:44:06 Turo

+0

有隻有一個看起來像一個IP地址。 http://127.0.0.1:56750/hub/session你知道這是什麼意思嗎？ –

+0

好吧，我沒有說明你會在頭文件中找到你的IP ..它仍然是公開IP，如上所述，應該是用於抓取的IP（這樣，如果你被禁止，如果你去，你會沒事的）到隔壁的咖啡館）。您在評論中顯示的地址是您的本地主機與硒中樞，它被用作代理（如果使用代理，則顯示在response.headers中）。所以也許只有你的硒被「禁止」，並且你的路由器的IP地址適合用在這臺服務器上。 – Turo

相關問題

 相關問題