2
爬行一個緩慢的網站時，我總是得到錯誤：TCP連接超時：10060.我想這可能發生在爬蟲嘗試與服務器建立TCP連接並且默認連接超時過低時。如何在scrapy中設置TCP連接超時？
我知道下載超時可以在scrapy中設置，但我沒有找到設置連接超時的方法。有沒有人有一些想法？謝謝！
A
回答
3
DOWNLOAD_TIMEOUT可以在settings.py在你scrapy項目
http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout
相關問題
- 1. Scrapy - 設置TCP連接超時
- 2. Scrapy TCP連接超時
- 3. 在TCP中設置超時
- 4. 在Go中設置sql連接的tcp超時
- 5. 在tcp上設置超時
- 6. 如何設置連接超時
- 7. 如何設置MongoClient連接超時？
- 8. 如何設置redis連接超時？
- 9. 如何手動設置連接超時？
- 10. TCP/IP連接超時
- 11. 爲什麼我scrapy總是告訴我 「TCP連接超時」
- 12. 套接字recv的設置超時TCP
- 13. 設置SSH連接超時
- 14. Lua設置連接超時
- 15. 在C中設置TCP重傳超時
- 16. 如何在發起TCP/IP連接時設置本地IP？
- 17. 如何在scrapy-splash中設置啓動超時？
- 18. 如何在龍捲風中設置連接超時？
- 19. 如何在CodeIgniter中設置MongoDB數據庫連接超時？
- 20. 如何在ffmpeg中設置rtsp連接超時
- 21. 如何在mysql C++連接器中設置超時
- 22. 如何在Apache HTTP客戶端中設置連接超時？
- 23. 如何在node.js中爲客戶端http連接設置超時
- 24. 如何在Java中設置連接超時到jackrabbit存儲庫
- 25. 如何在Android的Retrofit庫中設置連接超時？
- 26. 如何在Android中爲JSONParser.makeHttpRequest設置連接超時？
- 27. TCP套接字無連接超時
- 28. 如何在客戶端套接字連接上設置超時？
- 29. 使用配置設置連接超時
- 30. Python Scrapy不重試超時連接
什麼_connection_超時和_download_超時之間的區別來設置？藉助'DownloadTimeoutMiddleware'，'scrapy.resolver.CachingThreadedResolver'調用Twisted的'ThreadedResolver.getHostByName'，其值爲settings.getint（'DOWNLOAD_TIMEOUT'）'。 – 2012-08-17 23:04:10
@StevenAlmeroth如何設置'DOWNLOAD_TIMEOUT' – user2129794 2013-05-01 20:00:00