Google-Plus抓取工具

目前，我的公司正在嘗試將Google Plus One鏈接添加到我們的網站。Google-Plus抓取工具

我們的代碼正常工作，但似乎Google-Plus爬蟲無法訪問頁面內容。當共享鏈接片段被創建時，它會呈現一條消息，指出爬蟲無法查看內容，因爲它無法通過測試來區分漫遊者和訪問者。

我們可以白名單機器人，但是我們使用的系統只接受一個用戶代理和一個URL。當檢測到User-Agent時，將執行反向查找，並將bot ip與輸入的url進行比較，以查看它是否來自同一組ips。我知道Google Plus抓取工具不使用bot風格的用戶代理，如Mozilla/5.0（兼容; Googlebot/2.1; + http://www.google.com/bot.html），但是有沒有一個用戶代理，我們可以執行必要的白名單功能，列表測試？

來源

2013-12-23 Dxcv

是的。該+Snippet bot用戶代理包含以下字符串：

Google (+https://developers.google.com/+/web/snippet/)

來源

2013-12-23 21:31:04 abraham

這是用戶代理，我返回：

的Mozilla/5.0（Windows NT的6.1; RV：6.0）的Gecko/20110814火狐/ 6.0谷歌（+ https://developers.google.com/+/web/snippet/）

來源

2014-04-30 14:52:14

這是用戶代理返回我：的Mozilla/5.0（Windows NT的6.1; RV：6.0）的Gecko/20110814火狐/ 6.0谷歌（+）

來源

2014-06-27 15:33:00 Klimashkin

Google-Plus抓取工具

回答

相關問題