Google應用引擎 - 突然增加數據存儲區讀取操作

Question

我爲自己維護一個基於Google應用引擎的博客應用（blog.wokanxing.info，它是中文版）。從第一次部署到現在已經有兩三年了，我從來沒有遇到任何配額問題，因爲它的簡單性和小訪問次數。

然而，由於上月初，我注意到，不時應用程序報500服務器錯誤，並在管理面板就說明免費datatstore的神祕消耗快讀操作配額。 在一小時內，約有10％的免費讀取配額（〜5k ops）被消耗，但我只計算涉及數據存儲區讀取操作的30個頂端的十幾個請求，這意味着每個請求的平均讀取操作數爲150到200 ，這聽起來對我來說不可能。

我還沒有對我的代碼庫進行任何更改，我也沒有看到數據存儲區或引用策略的任何更改。儘管如此，它也讓我很困惑如何消費。我使用memcache很多，這使第一頁成爲最大的玩家，它使用Post.all.order('-date').fetch(10, offset)獲取第一個線程。其他請求僅使用Post.get_by_key_name獲取單個模型並迭代post.comment_set。

對不起，我可憐的英語，但任何人都可以給我一些線索？謝謝。

Answer 1

從管理控制檯檢查您的日誌。 不要僅檢查錯誤，而是檢查日誌中的所有類型的消息。

查找機器人/網頁抓取工具提出的請求。在大多數情況下，您可以通過單詞「機器人」或「機器人」來檢測這些「用戶」（如果他們誠實的話......）。 你可以做的第一件事就是編輯你的「機器人」文件。欲瞭解更多詳情，請閱讀How to identify web-crawler?。此外，GAE有助於使用「機器人」文件。

如果失敗，嘗試檢測bot/bot使用的IP地址。使用GAE管理控制檯將這些地址放入黑名單中，並再次檢查您的配額消耗。