codeigniter阻止索引系統文件夾和文件夾

Question

系統文件夾，img文件夾，css文件夾和js文件夾包含與網站內容無關的代碼。我們是否應該在robots.text中禁止它們？

Answer 1

使用robots.txt文件如果不允許目錄意味着：

• 它們的內容將不會被各大搜索引擎收錄
  • 如果這些文件有，這不是關係到你的網站內容，和/或應不要在搜索中返回，你可以這樣做。
• 但其內容仍然會提供給用戶

robots.txt只是一個參考，以爬蟲 - 絕對沒有辦法禁止任何人訪問。

Answer 2

首先，它是robots.txt，而不是robots.text。其次，CSS文件和JavaScripts永遠不會被編入索引，圖像通常不會被直接編入索引，它們在頁面中找到時會被索引，系統文件夾甚至不能通過Internet訪問。

最後，正如馬丁所說，robots.txt文件只是建議搜索引擎，他們不需要遵循它（雖然通常是大的做）。

Answer 3

默認情況下，用戶無法訪問Codeigniter中的系統文件夾，因此您不必擔心。

就像Andrew寫道的那樣，img，css和js文件夾的內容不會被搜索引擎編入索引，因此您也不必擔心。

但是，如果您有任何理由阻止上述搜索引擎文件的內容，您可以做到這一點，而不用擔心您的網站的排名和知名度會受到這種影響。

下面是Google給出的一個SEO建議：Seo Fact no. 19。