robots.txt禁止哪些文件夾 - SEO？

Question

我目前正在寫我的robots.txt文件，並有一些麻煩，決定我是否應該允許或禁止某些文件夾的搜索引擎優化的目的。

以下是文件夾，我有：

• /CSS /（CSS）
• /JS /（JavaScript的）
• /IMG /（圖片我使用的網站）
• /PHP /（PHP將返回一個空白頁，例如checkemail.php，檢查電子郵件地址或register.php這將數據放入一個SQL數據庫和發送電子郵件）
• /錯誤/（我的錯誤401,403,404,406,500 HTML頁面）
• /包括/（了header.html和footer.html包括我）

我在想只禁止PHP頁面，讓休息。

您認爲如何？

非常感謝

洛朗

Answer 1

/css和/ JS - CSS和Javascript文件可能會被Googlebot你是否擁有他們的robots.txt抓取。 Google使用它們來呈現您的網頁以進行網站預覽。谷歌已經問好，你不是把它們放在robots.txt中。

/IMG - Googlebot可能當robots.txt文件中的相同的方式，CSS和Javascript檢索這個連。將圖片放入robots.txt中通常會阻止它們在Google圖片搜索中被編入索引。 Google圖片搜索可能會成爲您網站訪問者的來源，因此您可能希望在此處將其編入索引。

/PHP - 聽起來像是你不想打蜘蛛執行動作的URL。良好的通話使用的robots.txt

/錯誤 - 如果您的網站設置正確的蜘蛛可能永遠不會知道你的錯誤頁面是由擔任哪個目錄。他們通常會在出現錯誤的網址上投放，而蜘蛛從未看到其實際的網址。如果你重定向到他們，情況就不是這樣，反正這不是推薦的做法。因此，我會說，沒有必要把他們的robots.txt