幫助正確地創建robots.txt

Question

我有這樣的動態網址。

mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse

當頁要求爲前。 mydomainname.com/?pg=login index.php包括login.php文件。

一些網址轉換成靜態URL一樣 mydomain.com/aboutus.html mydomain.com/termsofuse.html

我需要讓指數mydomainname.com/aboutus.html，mydomainname.com /termsofuse.html 並且不允許mydomainname.com/?pg=login，mydomainname.com/?pg=reguser，請幫助管理我的robots.txt文件。

我還mydomainname.com/posted.php?details=50（細節可以有任意數量），其餘轉換爲mydomainname.com/details/50.html 我需要還允許所有這種類型的網址。

Answer 1

如果你希望只索引你的靜態頁面，您可以使用此：

Disallow: /*? 

這將禁止包含一個問號的所有URL。 ？

如果您想保留索引posted.php細節= 50頁的URL，你有一組有限的PARAMS你想禁止，您可以爲每一個不允許進入，就像這樣：

Disallow: /?pg=login 

或者只是防止一切以/開頭？

Disallow: /?* 

您可以使用類似這樣的工具來測試網址的抽樣，看它是否與它匹配。

http://tools.seobook.com/robots-txt/analyzer/