Magento robots.txt 404s

2014-03-24 54 views 0 likes

我有一個Magento多站點安裝。我想禁止我的一家店，但不是其他店。我試圖利用Magento配置中的「默認機器人」選項，因此我將所有商店的默認機器人都設置爲「索引，關注」，除了我想禁止的商店之外，我將其更改爲「Noindex，Nofollow」。但是，當我去我的URL/robots.txt，我得到一個404錯誤。Magento robots.txt 404s

任何想法爲什麼這可能404？

有人能指出我的方向，我可能會做一個robots.txt，只允許一個網站？

來源

2014-03-24 Jimmy Pelton

回答

此設置只會將meta robots標記添加到您的網頁，例如，

<meta name="robots" content="INDEX,FOLLOW" />

參見：http://www.robotstxt.org/meta.html

Magento的應用程序不與接口的robots.txt

來源

2014-03-25 00:40:09

你認爲這是保持機器人離你的網站滿意嗎？還是有一個robots.txt文件更好？ –

另外，有沒有辦法禁止robots.txt中只有一個商店？ –

@JimmyPelton如果它們共享相同的文檔根目錄，則不行。 –

相關問題

1. Magento不會生成robots.txt
2. WooCommerce 404s
3. 什麼是在Magento中捕獲404s的最佳方式
4. Recaptcha 404s錯誤
5. Laravel返回404s
6. JSPM System.import 404s
7. DNN，iFinity和404s？
8. Magento的CE 1.9.0.1的robots.txt沒有表現出所謂的
9. robots.txt中
10. Robots.txt Disallow

11. 的.htaccess重定向到/robots.txt的/robots.txt/
12. Selenium建立404s列表
13. 在IIS6下的Elmah和404s
14. 緩存404s - NGINX或塗有？
15. URL Slugs：重定向或404s？
16. Python Selenium Webdriver：查找404s
17. 隨機WordPress管理404s
18. 自動檢測500s和404s？
19. Node.js/Express/Jade POST表單404s
20. 快速路由返回404s
21. ASP.NET MVC - MapRoute與routes.Add（和404s）
22. 如何找到外部404s
23. robots.txt的使用
24. robots.txt文件
25. Robots.txt Disallow方法
26. robots.txt的內容
27. 座robots.txt中
28. 在robots.txt規則，
29. 星號的robots.txt
30. Laravel的robots.txt