如何設置代理使用dryscrape隱藏我的IP地址以刮取網頁

我有很多活躍的公共代理，我想用它來刮一些頁面。如何設置代理使用dryscrape隱藏我的IP地址以刮取網頁

任何人都可以給我一個axample我怎麼可以在dryscrape中設置代理？

我試着設置SYS env中HTTP_PROXY Python和沒有工作。

2014-09-29 Renato Prado

您可以使用dryscrape.Session.set_proxy方法設置代理。

例如：

my_session = dryscrape.Session(base_url = 'https://stackoverflow.com') 
my_session.set_proxy('127.0.0.1', 9000)

來源

2014-10-13 11:22:27 avi

這是給我的錯誤：webkit_server.InvalidResponseError：{ 「類」：「InvalidResponseError」，「消息」：「無法加載URL：http://www.google .com /因爲錯誤加載http://www.google.com/：未知錯誤「} – 2014-10-17 13:59:15

似乎我的環境配置不正確 – 2014-10-17 16:39:57

@RenatoPrado嗨，我遇到了同樣的問題，」無法加載URL。 ..因爲錯誤加載...「我知道這是很久以前，但你現在有一個工作解決方案嗎？什麼是環境？ – 2018-02-13 21:47:43

如何設置代理使用dryscrape隱藏我的IP地址以刮取網頁

回答

相關問題