停止機器人

Question

我發現我的谷歌應用程序引擎的網站正在被大量的機器人（如Baido和Ahrefs）的抓取，而且他們吃的都是我的帶寬和數據存儲讀取的OPS 。

我知道只是一個普通的自託管的網站，我會把一個robots.txt在我的基地文件夾，但究竟怎麼做，我告訴漫遊器不要抓取我的網站在谷歌應用程序引擎？如果這有所作爲，我正在運行python和jinja 2。

謝謝。

Answer 1

在app.yaml

- url: /robots.txt 
    static_files: static/robots.txt 
    upload: static/robots.txt 

這樣做，那麼，只要你在你的項目中static/robots.txt，你是好去。