0
我試圖阻止我的網站被索引/列出：如果標題x-robots設置爲noindex，那麼是否有必要使用robots.txt？
我在.htaccess中設置：
Header set X-Robots-Tag "noindex, nofollow"
是不是還需要設置robots.txt的？
User-agent: *
Disallow:/
添加robots.txt有沒有什麼壞處？
A
回答
0
找到了答案，如果有X-Robots-Tag中集，我必須刪除所有爬行不允許robots.txt中：
機器人元標記和X-Robots-Tag中的HTTP頭被發現時 網址已被抓取。如果不允許某個網頁抓取robots.txt文件，則任何有關索引或提供 指令的信息將不會被發現，因此將被忽略。如果必須遵循 索引或服務指令，則不能禁止那些包含 這些指令的URL進行爬網。
相關問題
- 1. 設置Noindex關注子域 - robots.txt
- 2. noindex follow in Robots.txt
- 3. 如果使用validates_length_of，validates_presence_of是否必要？
- 4. robots.txt - noindex圖像，noindex管理 - wordpress
- 5. 如果你知道如何用FHIR做ReST，那麼歡樂是否必要？
- 6. 沒有robots.txt的，但我想NOINDEX頁面
- 7. 是否有必要爲chrome擴展設置事件偵聽器
- 8. 在swift中，是否有必要在使用後將強變量設置爲零？
- 9. 在使用File.open編寫json時，是否需要設置標題？
- 10. 如果僅調用super .__ init__，那麼是否需要__init__？
- 11. 如果我設置了$ VIM，是否必須設置$ VIMRUNTIME？
- 12. 如果我的域名上沒有mx記錄，那麼是否有必要擁有spf記錄？
- 13. 是否有必要擁有<section>標題在HTML5
- 14. 是否有必要使用xlib的「XAllocSizeHints（）」？
- 15. 是否有必要使用addTestDevice？
- 16. 是否有必要使用InitCommonControlsEx（）和InitCommonControls（）？
- 17. 是標題（'Content-Type：text/plain'）;有必要嗎？
- 18. 是否有必要有base64_encode
- 19. 是git重置 - 如果合併失敗，硬件是否必要？
- 20. 如果設置爲YES，那麼UIView layer.masksToBounds在做什麼？
- 21. 如果我必須手動安裝bundles，那麼feature.xml的要點是什麼？
- 22. 如果要在構造過程中設置類變量，那麼它是否需要定義類變量？
- 23. Noindex頁面是否需要元描述和關鍵字標籤？
- 24. char *爲char [] - 是否有必要？
- 25. 是否有必要爲變量賦值？
- 26. 在Python中設置方法，它們是否有必要？
- 27. Rails梅勒是否有必要設置路線？
- 28. ng-disabled是否在div標籤中工作？如果不是，那爲什麼？
- 29. 是否有必要使用單CLLocationManager避免等待設備位置更新嗎？
- 30. 如何在robots.txt中添加`nofollow，noindex`所有頁面？