一個很好的用戶代理python webcrawler

我正在做一個python爬蟲，我正在考慮一個用戶代理。一個很好的用戶代理python webcrawler

任何人都可以想到一個用戶代理。

或/和沒有人有一個方案

我事情財產以後的像「的urllib（兼容; OWI BOT + owi.tk /機器人）「（這是Googlebot重寫）

等都可以。有人爲幫助我

2012-04-18 tgb

我想，99.9％的網站和他們的所有者不關心UA字符串。 – kirilloid 2012-04-18 07:50:21

@kirilloid：如果你是UA的話，那些關心的人可能會拒絕你的請求，他們不知道 – alan 2012-04-18 07:51:43

@alan然後只使用任何流行的UA。 – kirilloid 2012-04-18 07:54:45

只是要一個。積分爲使其可能的，如果你的機器人做錯了事/壞/愚蠢/大。規格是RFC2616秒與您聯繫。14.43（HTTP/1.1）。

請不要只是複製一些東西！

此外，some practical stuff learned而爬行＃1 &朋友不良鏈接：

從第0天爲自己設定了一個正確的用戶代理字符串。

2012-07-12 15:37:28 Paul

+1提供豐富的答案。 – NlightNFotis 2012-07-12 15:44:27

回答