機器人拋出Apache的訪問日誌

Question

500錯誤在我的Apache的錯誤日誌，我可以看到下面的錯誤已經引起了巨大的日常量上。

[Tue Jan 15 13:37:39 2013] [error] [client 66.249.78.53] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace. 

當我檢查corroesponding IP，日期和時間與訪問日誌，我可以看到下面的

66.249.78.53 - - [15/Jan/2013:13:37:39 +0000] "GET /robots.txt HTTP/1.1" 500 821 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 

我測試過我的robot.txt文件在谷歌Webmster工具 - >健康 - >阻止的網址，它很好。

此外，當一些圖像通過機器人的扔給下面的錯誤訪問，

的error_log

[Tue Jan 15 12:14:16 2013] [error] [client 66.249.78.15] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace. 

Accessed_URL

66.249.78.15 - - [15/Jan/2013:12:14:16 +0000] "GET /userfiles_generic_imagebank/1335441506.jpg?1 HTTP/1.1" 500 821 "-" "Googlebot-Image/1.0" 

其實上面的圖片URL（和其他幾個圖像在我們的訪問日誌）在我們的網站上不可用（它們在我們2012年8月完成的網站改版之前可用），並且當我們轉到那些無效的r時，我們拋出404錯誤物資跟不上。

但偶爾，機器人（甚至是人類訪問者）在我們的訪問/錯誤日誌中生成這種類型的錯誤，僅針對不存在的圖像等靜態資源，而我們的robots.txt文件。服務器爲它們拋出500錯誤，但實際上當我從瀏覽器嘗試它時 - 圖像是404，robots.txt是200（成功）。

我們不知道爲什麼發生這種情況，並howcome有效的robot.txt和inavalid圖像可以拋出一個500錯誤。我們確實有一個.htaccess文件，我們確信我們的（Zend框架）應用程序沒有被達到，因爲我們有一個單獨的日誌。因此，服務器本身（or.htaccess）會「一次偶爾」拋出500錯誤，我無法想象爲什麼。這可能是由於對服務器的請求過多，或者我如何進一步調試？

請注意，我們只有我們的設計改造後，發現這些錯誤，但Web服務器本身保持不變

Answer 1

這可能是有用的登錄客戶端在訪問域。您的服務器可能通過多個域訪問，包括原始IP地址。當你正在測試時，你通過主域名來完成，一切都按預期工作。如果您無法通過IP（http://1.2.3.4/robots.txt）與域名訪問同一文件什麼（http://example.com/robots.txt）？另外example.com與www.example.com或指向服務器的任何其他變體。

機器人有時會堅持到IP /域名信息的地址已經改變了很久之後，並可能試圖訪問規則被改變前幾個月的東西。