Python：找到一個公司列表的網站

我試過使用下面的python代碼來找到這些公司的網站。但經過幾次嘗試後，我面臨着服務不可用錯誤。Python：找到一個公司列表的網站

我已經完成了尋找公司可能的領域的第一級。例如：

CompanyExample [U 'http://www.examples.com/' U 'https://www.example.com/quote/CGL:SP' U 'http://example2.sgx.com/FileOpen/China%20Great%20Land.ashx?App=Prospectus&FileID=3813'，U 'https://www.example3.com/php/company-profile/SG/en_2036109.html']

from google import search 
for link in links: 
    parsed_uri = urlparse(link) 
    domain = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri) 
    for url in search(domain,stop = 4): 
     print url

請幫我：

爲什麼我找到urllib2.HTTPError：HTTP錯誤503：服務不可用錯誤突然。
是否有任何其他方法（Python請求）來查找公司列表的網站？

來源

2017-05-15 NiviSRa

Google API通常對非付費用戶限速。超過你的極限可能是503響應的原因。按照API documentation你會得到100個免費搜索每天，它的後5 $每$ 1000個查詢多達10000個查詢：

Custom Search Engine (free)

For CSE users, the API provides 100 search queries per day for free. If you need more, you may sign up for billing in the API Console. Additional requests cost $5 per 1000 queries, up to 10k queries per day.

來源

2017-05-15 01:49:55

謝謝@邁克爾科爾。有沒有其他方法可以像python請求一樣使用來搜索網站？ – NiviSRa

@NiviSRa問題是，如果你搜索得太多，Google會暫時將你的IP列入黑名單（如果你在某個代理服務器的後面，這也會成爲一個問題，並且你不是達到了極限），所以你可能不在運氣。 –

順便說一下，既然你看起來對於SO來說還算是新鮮事，請確保你參加了這次活動以獲得最大的利益：https://stackoverflow.com/tourn –

Python：找到一個公司列表的網站

回答

相關問題