如何抓取來自多個國家的網站？

Question

我在美國，並根據訪問國家和地區提供不同版本的輕量級爬網。

什麼是從多個國家爬行的最佳方式？有沒有代理服務，我可以通過我的http請求？或者我需要在每個國家租用輕量級虛擬機並安裝我自己的代理服務器？

Answer 1

那麼我用這個捲曲，如果你的主要編程語言是php，你可以做這樣的服務器上：

$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, RETURNTRANSFER, true); 
curl_setopt($ch, CURLOPT_PROXY, '195.175.37.72:80') 
echo curl_exec($ch); 

在網上有很多免費的代理服務器使用谷歌。有些人讓你獲得代理資金，但他們的服務更好。當然，你可以在其他國家購買機器，但我這樣做的方式更便宜，更容易。

Answer 2

你可以使用免費的網絡代理，如www.hidemyass.com - 但不要期望太多。

也有一些免費和公共的代理那裏，只需使用您選擇的搜索引擎來找到它們。 （或看看http://www.hidemyass.com/proxy-list/）

或使用TOR（雖然我不知道你是否可以選擇一個特定的出口節點）。

如果你真的考慮租用虛擬機，你也可以專業代理服務（這意味着更多的帶寬等）