0
我想抓取我的整個網站阻止谷歌 - 除了地圖，我可以用它來告訴谷歌優先&最後的修改等。 這是一個壞主意？ 我如何在robots.txt中做到這一點？使用robots.txt只抓取了我的Sitemap
A
回答
0
如果您在Google Crawler中關閉了整體，那麼Google也不會抓取Sitemap.xml。
謝謝
相關問題
- 1. 網絡抓取和robots.txt
- 2. Sitemap包含被robots.txt阻止的網址
- 3. 百度Sitemap文件無法抓取
- 4. 爲什麼Google抓取我的robots.txt阻止的網頁？
- 5. robots.txt中應該禁止使用sitemap嗎？和robot.txt本身？
- 6. 如何使用robots.txt僅允許抓取工具訪問index.php？
- 7. 如何抓住robots.txt禁止？
- 8. robots.txt的使用
- 9. 在Sitemap中添加阻止的URL（通過robots.txt）？
- 10. 網絡抓取：我只獲得我想要的文本的1/10（使用BeautifulSoup）
- 11. 除了我使用Apache Nutch的1.12，我試圖抓取的網址在seed.txt
- 12. 如何通過robots.txt讓HTTrack抓取工具遠離我的網站？
- 13. 阻止被抓取的特定地址Robots.txt
- 14. 放置robots.txt以防止抓取的位置
- 15. 如何排除抓取工具以使用robots.txt爲我的網站的特定頁面編制索引？
- 16. Scrapy只抓取一頁
- 17. 只抓取文章/內容
- 18. crawler4j只抓取種子URL
- 19. Scrapy只抓取一頁
- 20. Nokogiri只抓取可見inner_text
- 21. 爲什麼Googlebot無法抓取這個robots.txt？
- 22. 是否可以通過robots.txt控制抓取速度？
- 23. Scrapy刮板如何在robots.txt中尊重抓取延遲？
- 24. 抓取使用jQuery
- 25. Robots.txt - 多個用戶代理的抓取延遲的正確格式是什麼？
- 26. 如何只用Anemone「抓取」根URL？
- 27. 使用BeautifulSoup的HTML抓取
- 28. 提取網站的SITEMAP
- 29. 只打印5使用抓取鏈接的循環從網站
- 30. MySQL：只抓取只有一行的用戶？
爲什麼要停止谷歌這樣做？你可以打開robots.txt並禁止：*並只允許你的站點地圖 –
似乎你想有2個版本的站點地圖。一個會叫'robots.txt'並根據robot.txt規則進行格式化。另一個將是人類。 – AllInOne