如何使用通配符阻止機器人編入索引？

example.com/page/m6aoeh/embed

我想從與該URL編入索引頁塊的任何漫遊/page/*/embed

我假設有一些方法來支持通配符URL塊，但只是不確定如何在這個特定的情況下做到這一點。

2011-12-15 Shpigford

在您的示例網址中，您有`page`（單數），並且在您的路徑過濾器中有`pages`（複數）。我假設其中一人是一個錯字。哪一個是正確的？ – Asaph 2011-12-15 14:57:03

這是一個錯字。我已更新該帖子。 – Shpigford 2011-12-15 14:58:35

如果您只是想向機器人指出/page/文件夾下的所有內容都不應被機器人索引，請使用robots.txt exclusion standard。創建一個/robots.txt，看起來像這樣：

User-agent: * 
Disallow: /page/

如果你想機器人來索引/page文件夾下的一些網頁，但不是別人，你需要在<head>添加<meta> tag到要排除的每個頁面。

<meta name="robots" content="noindex, nofollow" />

2011-12-15 15:03:19 Asaph

回答