我研究了很多方法來防止Google /其他搜索引擎抓取特定目錄。兩種最流行的我見過的有:阻止Google將目錄編入索引的最佳方法
- 添加入robots.txt文件:
Disallow: /directory/
- 添加meta標籤:
<meta name="robots" content="noindex, nofollow">
哪種方法最好的工作?我希望這個目錄在搜索引擎中保持「不可見」狀態,所以它不會影響我的網站的任何排名。
換句話說,我希望這個目錄是中性/不可見的,「就在那裏」。我不希望它影響任何排名。哪種方法最適合實現?
這個問題似乎是題外話題,因爲它是關於堆棧溢出偏離主題的SEO。 –