Robots.txt Disallow方法

我一直在經歷不同的論壇，並想知道這是否正確。我試圖禁止漫遊器僅在特定的子頁面中抓取查詢（例如www.website.com/subpage/?query=sample）。我試圖確保/ subpage /也不會被拒絕。如果我錯了，請糾正我。Robots.txt Disallow方法

文件：robots.txt的

User-agent: * 
Disallow: /subpage/*?

來源

2013-10-21 Elmer

您可以隨時下載適當的[add-on]（https://addons.mozilla.org/en-US/firefox/addon/user-agent-switcher/）或[extension ]（https://chrome.google.com/webstore/detail/user-agent-switcher-for-c/djflhoibgkdhkhhcedjiklpkjnoahfmg?hl=en-US）從您自己的瀏覽器中測試這些東西。 –

@MisterMelancholy感謝評論:)但是，我只是想知道如果行'不允許：...'是否有效。基本上我不想讓漫遊器在「子頁面」下抓取查詢。 – Elmer

據我所看到的here，你是非常接近

User-agent: * 
Disallow: /subpage/*?* 
Allow: /subpage$

您可以從您自己的瀏覽器的舒適測試此通過使用適當add-on或extension。

來源

2013-10-21 05:41:17

嗯..我不想禁止/ subpage /本身。因爲我有/子頁面/其中有一個選項框，當選擇一個選項時，它會使url：/ subpage /？option = 1。我不希望谷歌抓取查詢選項。 – Elmer

我已經更新了我的答案（包括這裏的鏈接）。 –

只需在語法旁邊註釋，如果/ subpage /中的頁面從任何地方鏈接，它將被抓取並編入索引。將出現在SERP中（通知而不是從頁面中提取的內容摘要）。作爲一個例子[yoast不再禁止任何支持，而是一個]（https://yoast.com/wordpress-robots-txt-example/） – tuk0z

我不認爲你可以在Disallow指定查詢字符串。您爲Disallow設置的值在文檔中引用爲Directory（不是URI或URL）。

但是，您可以通過使用Sitemap.xml來實現您的目標。您可以從站點地圖中排除您不想索引的URL。

Google Webmaster tools也對查詢字符串參數的解釋方式給出了一定程度的控制。不知道這是否符合您的目的

來源

2013-10-21 05:42:06

Robots.txt Disallow方法

回答

相關問題