防止Googlebot頻繁重新索引某些頁面

我們可以使用robots.txt更改漫遊器的抓取速度。但Googlebot不考慮robots.txt，所以我尋找替代方法。防止Googlebot頻繁重新索引某些頁面

在我的網站，我有一些頁面的變化非常非常頻繁與小的變化。一天說20-30個字符。但我不希望Googlebot頻繁重新編制索引。比方說，我想每個月都要Googlebot索引它。是否有可能使用這樣的meta標籤：

<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

Googlebot會忽略這個嗎？或者你能推薦其他解決方案嗎？

來源

2012-08-11 trante

我建議你生成一個XML Sitemap。

通過站點地圖，您可以指定要傳遞給搜索引擎的參數，命名您向頁面提供的重要性（或權重）以及頁面（通常）更新的速率。

這並不意味着搜索引擎將堅持只有這一點。可能是因爲您說該網頁每年更新一次，並且該網頁每年被抓取3次，或者該網頁設置爲每天抓取一次，並且每月只抓取一次。

Google on SiteMaps

來源

2012-08-11 22:57:10

您可以使用這些網址創建sitemap，並將<changefreq>元素設置爲monthly。這些只是對搜索引擎的暗示，但它可能是你最好的選擇。

<?xml version="1.0" encoding="UTF-8"?> 
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
    <url> 
     <loc>http://www.example.com/latest-updates.html</loc> 
     <changefreq>monthly</changefreq> 
    </url> 
</urlset>

來源

2012-08-11 22:55:38

防止Googlebot頻繁重新索引某些頁面

回答

相關問題