Google Apps Script Bot每分鐘重複抓取網站

Question

就在一小時前，我開始了tailing apache日誌文件（訪問日誌），從那以後，我注意到這個奇怪的用戶代理，（無法找到它的Google官方文檔）。

我手氣懷疑這件事，因爲我無法找到谷歌的這個用戶代理網站的任何東西，

("Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)) 

它爬行我們的網站，每一分鐘，整整一天的登錄頁面。

這裏的日誌片斷：

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET/HTTP/1.1" 302 639 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)" 

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET /accounts/login/ HTTP/1.1" 200 3780 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)" 

而且它一直是同一個IP。它仍然是，

看到這種爬行模式常見嗎？

Answer 1

Google Apps腳本允許用戶編寫基於JavaScript的代碼，並將它們設置爲以Google服務器的指定間隔運行。

這不是Google的網絡爬蟲，它是Google用戶寫的一個腳本。

此外：如果您阻止IP或Google用戶可能每分鐘都會遭到「您的腳本無法運行」電子郵件的轟炸。