0
如果我有一個具有noindex標記<meta name="robots" content="noindex" />的頁面，我知道該頁面不會顯示在搜索結果中。noindex標籤是否阻止漫遊器爬取頁面上的鏈接？
但是頁面上的鏈接仍然會被抓取嗎？
如果我想讓它們被抓取，我可以設置類似<meta name="robots" content="noindex, follow" />的東西。它會起作用嗎？
A
回答
0
noindex標記<meta name="robots" content="noindex" />用於阻止大多數搜索引擎Web爬蟲將您網站上的頁面編入索引。
抓取工具將不會使用content="noindex, follow"標記爲頁面編制索引，而是會抓取其餘頁面。
您可以在此處找到更多詳細信息：http://www.robotstxt.org/meta.html
+0
你的鏈接已經死機 – aleclarson
+1
我改變了鏈接。你現在可以檢查。 –
相關問題
- 1. 該代碼是否阻止漫遊器爬取我的頁面？
- 2. 阻止谷歌爬取每個頁面上的特定鏈接
- 3. 什麼是阻止漫遊器/抓取器擊中鏈接/頁面的正確方法？
- 4. 如何使用robots.txt停止漫遊器爬行分頁？
- 5. 如何阻止壞的未識別的漫遊器爬行我的網站？
- 6. Noindex頁面是否需要元描述和關鍵字標籤？
- 7. 如何阻止漫遊器抓取我的基於AJAX的URL？
- 8. 如果href頁面包含含有noindex和nofollow的漫遊器元標記，我是否需要將nofollow rel屬性添加到鏈接？
- 9. 如何判斷一個頁面是否允許漫遊器？
- 10. 電子郵件鏈接被阻止的網頁爬蟲
- 11. 如何禁止單個頁面或文件中的漫遊器
- 12. 鏈接到Facebook頁面上的頁面標籤頁應用
- 13. 網絡爬蟲是否僅依靠主頁上的鏈接來進行爬網？
- 14. Struts標籤是否阻止XSS
- 15. 返回false - 阻止頁面上的所有鏈接
- 16. 如何阻止漫遊器和垃圾郵件提交評論？
- 17. 如何阻止漫遊器發佈和引起異常
- 18. 鏈接到不同頁面的標籤
- 19. asp.net：防止漫遊器中的文件
- 20. Netsuite如何鏈接主頁上的子標籤頁面/類別？
- 21. 單擊空白鏈接時是否阻止頁面重新加載？
- 22. 如何直接鏈接到Facebook頁面上的標籤？
- 23. Github頁面阻止與Google的直接鏈接？
- 24. Shopify鏈接到主頁上的標籤
- 25. 從Pelican頁面鏈接到標籤
- 26. jQuery UI標籤鏈接_blank頁面
- 27. 鏈接標籤破壞頁面設計
- 28. 製作瀏覽網頁的漫遊器
- 29. 抓取基於鏈接的網頁爬蟲/蜘蛛鏈接
- 30. 阻止鏈接中的錨標籤滾動
以下是默認設置。你不需要指定它。 – user29671