今天我偶然發現了一個名爲'error.log'的web主機上的文件夾。我想我會看看。error.log中列出的文件缺失
我看到多個 '文件不存在' 的錯誤 - 有三種類型的條目：
我有什麼，這些文件被用於一些猜測，但想確切瞭解：
A robots.txt文件被網絡爬蟲/機器人讀取以允許/禁止它在您的服務器上抓取資源。然而，機器人讀取這個文件並不是強制性的，但好的是這樣做的。有在http://en.wikipedia.org/wiki/Robots.txt一些進一步的實例的實例文件可能看起來像，並會駐留在網站根目錄：
User-agent: * # All robots
Disallow:/ # Do not enter website
或
User-Agent: googlebot # For this robot
Disallow: /something # do not enter
的apple-touch-icon-precomposed.png是解釋https://stackoverflow.com/a/12683605/722238
我相信使用missing.html被某些人用作自定義的404頁面。機器人可能被配置爲刪除此文件，因此可能會請求它。
如果您想要控制機械手將刮掉服務器的資源，則應該添加一個robots.txt文件。如前所述，機器人讀取此文件並非強制性要求。
如果你想添加其他兩個文件來刪除錯誤信息，但是，我不認爲這是必要的。沒有什麼可說的，joe_random不會在您的服務器上發出請求/somerandomfile.txt，在這種情況下，您將得到另一個不存在的文件的錯誤消息。然後你可以將它們重定向到一個自定義的404頁面。