搜索引擎優化排除特定的文件夾/頁

Question

我正在建設這個網站有許多效果不能在移動設備上正常工作，所以我們建立了一個簡單的html版本，我們重定向設備時，他們不支持所有的效果。

Normal version URL: www.mysite.com/#some_page_name 

Simple version URL:www.mysite.com/static.php?p=some_page_name 

的事情是我們不希望谷歌，Bing和雅虎在搜索中給出結果的簡單版本的網址，我們總是希望人們降落到網站的正常版本。

是否有可能通過Apache，PHP或JS告訴搜索引擎機器人忽略所有以static.php開頭的URL？

Answer 1

在您的robots.txt文件將這個：

User-agent: * 
Disallow: /static.php 

這不僅保持了網頁機器人索引，也讓他們抓取它們放在一起。

Answer 2

使用robots.txt文件，在你的情況下，它看起來像

你可以閱讀更多關於robots.txt的here

Answer 3

的robots.txt

Disallow: /static.php

Google Documentation on robots.txt

Answer 4

可以使用robots.txt做到這一點：

User-agent: * 
Disallow: *static.php 

的*是個百搭卡，這將影響所有頁面被稱爲static.php。所以如果你在子目錄中遵循類似的範例，這也會影響到它們。