0
我正在嘗試使用請求對象抓取scrapy網站。我通過需要身份驗證的代理連接到互聯網，並且此身份驗證阻止我抓取網站： DEBUG: Crawled (400) <GET http://auth4/robots.txt> (referer: None)scrapy請求中的代理身份驗證
如何在代理中進行身份驗證或跳過它以訪問網站？
謝謝！
A
回答
0
我想你需要設置用戶代理。嘗試對用戶代理的settings.py
編輯設置爲'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0' ：看看這個How to use scrapy with an internet connection through a proxy with authentication
相關問題
- 1. ALDB身份驗證請求
- 2. Python ::請求身份驗證
- 3. HTTPS請求，Android中的身份驗證
- 4. 由REST代理請求忽略的身份驗證Cookie
- 5. Play Framework - 使用會話身份驗證的代理請求
- 6. 身份驗證請求事件處理程序 - 自定義身份驗證IIS
- 7. cefsharp代理身份驗證
- 8. Java代理身份驗證
- 9. 身份驗證代理
- 10. org.apache.http.impl.client.CloseableHttpClient代理身份驗證
- 11. Clickonce身份驗證代理
- 12. 請求經過代理時身份驗證錯誤
- 13. 使用Windows身份驗證的簡單身份驗證代理
- 14. Neo4j的基本身份驗證請求
- 15. AJAX請求WCF服務身份驗證
- 16. 身份驗證和python請求
- 17. python請求與身份驗證（access_token）
- 18. REST API請求身份驗證
- 19. Windows身份驗證多個請求
- 20. HTTP身份驗證和SOAP請求
- 21. NodeJS API HTTP POST請求身份驗證
- 22. NodeJS OpenID Connect身份驗證請求
- 23. Spring 4 API請求身份驗證
- 24. ServiceStack身份驗證請求失敗
- 25. FR3DLdapBundle - 身份驗證請求失敗
- 26. IIS http請求身份驗證問題
- 27. 進行身份驗證請求
- 28. Browsermob HTTPS請求與身份驗證頭
- 29. urllib忽略身份驗證請求
- 30. IIS請求Windows身份驗證