Twitter上的用戶代理共享

Question

當有人在某個頁面上發佈消息時，twitter會抓取該頁面以查看Twitter卡片等數據，是否有人知道用戶代理Twitter使用的是什麼？

Answer 1

Twitter使用的Twitterbot用戶代理（與版本，如Twitterbot/1.0）爬行網頁時發現Twitter信息卡標記。如果您需要創建例外情況，則Twitter的抓取工具在掃描URL時會尊重robots.txt。

閱讀更多關於Twitter Cards URL Crawling & Caching。