這個robots.txt會只允許googlebot爲我的網站編制索引嗎？

Question

這個robots.txt文件只允許googlebot索引我的網站的index.php文件嗎？警告，我有一個htaccess重定向誰在

http://www.example.com/index.php

型的人會被重定向到簡單

http://www.example.com/

所以，這是我的robots.txt文件的內容...

User-agent: Googlebot 
Allow: /index.php 
Disallow:/

User-agent: * 
Disallow:/

在此先感謝！

Answer 1

不是。

好機器人
只有「好」機器人按照robots.txt說明（不是所有的機器人和蜘蛛懶得讀/跟隨robots.txt）。這可能甚至不包括所有主要的搜索引擎的機器人，但它絕對意味着一些網絡爬蟲將完全忽略你的請求（你應該看看使用.htaccess或密碼保護，如果你真的想阻止漫遊器/爬蟲看到部分您的網站）。

第二次檢查
Google會多次訪問您的網站，包括作爲瀏覽用戶出現。第二次訪問將忽略robots.txt文件。第二次訪問可能實際上沒有索引（如果這是你的擔心），但它確實檢查以確保你沒有試圖欺騙索引機器人（對於SEO等）。

這就是說你的語法是正確的......如果這就是你要問的一切，那麼是的，它會工作，只是不如你可能希望。

Answer 2

如果沒有重定向，Googlebot不會看到您的網站，但index.php除外。

重定向，它取決於機器人如何處理重定向以及您的htaccess如何進行重定向。如果您返回302，Googlebot將會看到http://www.example.com/，針對robots.txt進行檢查，而不會看到主網站。即使您進行了內部重定向，並告訴Googlebot響應頁面爲http://www.example.com/，它也會看到該頁面，但可能不會將其編入索引。

Answer 3

這是有風險的。爲了確保谷歌索引你的主頁做這個：

User-agent: * 
Allow: /index.php 
Disallow: /a 
Disallow: /b 
... 
Disallow: /z 
Disallow: /0 
... 
Disallow: /9 

所以你的根「/」將不符合禁止規則。

此外，如果您的AdSense不要忘記添加

User-agent: Mediapartners-Google 
Allow:/