使用戶無法訪問'sitemap.xml'，但可以通過機器人訪問

Question

我在Windows服務器上使用PHP和IIS 7。我在我的網站的根文件夾中創建了一個站點地圖sitemap.xml。

但是用戶可以很容易地使用瀏覽器和GET請求看到它。

所以我的問題是如何使用戶無法訪問，但仍然可以訪問搜索引擎的抓取工具。

例如：https://stackoverflow.com/sitemap.xml對用戶不可訪問，但它仍然被列入Google搜索範圍，並且它在那裏（https://meta.stackexchange.com/questions/22308/stack-overflow-sitemap-wtf）。

他們是怎麼做到的？

Answer 1

首先，我不明白，爲什麼它是必要的。

你可以通過檢查useragent來做到這一點。但是你必須知道，用戶可以將自己的用戶代理設置爲Google和其他搜索引擎使用的useragent。

Answer 2

你可以給你的sitemap.xml一個很難猜的名字，如tt44DM-09.xml。然後，您可以通過他們的網站管理員界面將其提交給搜索引擎。當然，你不應該在你的robots.txt中聲明你的站點地圖。

這不是一個完美的解決方案，但它很容易實現。

Answer 3

正如jan所說，只是不這樣做。這種事情沒有理由。它被稱爲隱形，它可能會損害您的網站。