AppEngine中的Robots.txt Java

Question

我有一個Java AppEngine web應用程序。我注意到在appengine的管理控制檯的儀表板中，每天都遇到一個URI錯誤/robots.txt。

如何清除錯誤？

Answer 1

robots.txt是搜索引擎和其他機器人在處理您的網站之前使用的神奇URL。有關更多詳細信息，請參見wikipedia。

處理GAE上這個錯誤的最好方式是把一個robots.txt文件，並將其定義爲一個靜態文件在您app.yaml爲GAE /蟒蛇：

- url: /(robots\.txt) 
    static_files: \1 
    upload: (robots\.txt) 

而在GAE的appengine-web.xml/JAVA：

<?xml version="1.0" encoding="UTF-8"?> 
<appengine-web-app xmlns="http://appengine.google.com/ns/1.0" 
        xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance'   xsi:schemaLocation='http://kenai.com/projects/nbappengine/downloads/download/schema/appengine-web.xsd appengine-web.xsd'> 
    .... 
    <static-files> 
     <include path="/favicon.ico" /> 
     <include path="/robots.txt" /> 
     <include path="/img/**.png" /> 
     <include path="/img/**.gif" /> 
     <include path="/css/**.css" /> 
</static-files> 

當然，你可能只是以及忽略錯誤，他們不事任何人，但自己（沒有人遇到了 錯誤）。