防止谷歌索引阿賈克斯加載的內容

Question

大師，

在我們的網站上，我們通過Ajax調用加載相同的內容。 （當用戶點擊菜單時，只是爲了防止重新加載整個頁面，以提高用戶體驗），

所以這是行之有效的，但實際上這個Ajax加載的內容實際上是原始內容的副本。

我可以阻止Google索引此內容嗎？

http://dinox-h.hu/en/gallery.php

在左側菜單中，您可以看到鏈接：

例如：

http://dinox-h.hu/puffer_tartalyok_galeria.php?ajax=1

Answer 1

嘗試增加對你的Ajax交付頁以下：

<meta name="robots" content="noindex,nofollow" /> 

這將告訴si Te抓取工具不抓取該頁面。您還可以添加頁robots.txt，像這樣：

User-agent: * 
Disallow: /*?ajax=1 

這將阻止任何URL與?ajax=1被編入索引（提供機器人榮譽你robots.txt）。更好的解決方案還包括創建站點地圖並告知各種搜索引擎。

編輯 提供Ajax內容IMO將是一種更好的方式通過Ajax請求的頁面時發送以下標題：

X-Requested-With: XMLHttpRequest 

jQuery將在默認情況下做到這一點，所以只要你能檢查它在服務器端，你可以提供你通常的內容，例如沒有模板。然後，您可以根據請求的類型輕鬆地從相同的URL提供不同的內容。這還應該解決您的抓取問題，因爲我懷疑抓取工具會偶然發現它。