robots.txt是否僅適用於文件/目錄或URL？

Question

我可以使用robots.txt來停止獲取索引的圖像/ html文件的文件夾。但是動態頁面呢，例如阻止某些WordPress頁面的索引？

Answer 1

robots.txt語法不關心頁面是否動態：所有重要的是目錄結構。

如果您使用的是固定鏈接結構類似

example.com/blog/year/month/slug 

你應該能夠排除像這樣單頁：

user-agent: * 
disallow: /blog/2011/09/this-is-a-test-entry 

你可以使用谷歌的網站管理員工具來驗證是否出現這種情況正常。

還記得在那個/wp-content WordPress的商店靜態內容，如圖像和PDF文檔 - 除非你想阻止所有資源在該目錄中，你不能阻止那些這樣。