谷歌和阿賈克斯索引

我們需要做些什麼改變，我們可以改變什麼，所以谷歌機器人不會爬過所有東西。

在我們沒有發生奢侈品之前，現在看起來是這樣。這可能會增加帶寬，因爲谷歌抓取工具。

我們如何防止谷歌（和任何其他未來的搜索引擎）索引我們的ajax代碼？

2011-11-01 Neal

首先，僅僅因爲Google這樣做並不意味着其他任何人。這並不意味着他們正在爲除文章中列出的網站以外的任何人正式開展這項工作，或者他們正在做的很好。

其次，你可以添加一個robots.txt文件，告訴Google不要索引某些頁面。

以下是有關robots.txt文件和谷歌的網絡爬蟲更多信息，一些鏈接：

2011-11-01 20:56:58 evan

你怎麼知道的谷歌機器人是如何工作的，當它來**執行** ajax代碼？在執行**之前，**或**之後，robot.txt是否不起作用？ – Neal

谷歌必須首先查看robots.txt文件，以瞭解您是否希望將您的網站編入索引。他們尊重那個文件。所以，如果你有一個頁面含有大量的Ajax，而你不希望它被擊中，那麼就是該文件中的主頁面。 Google可能不會爲此而煩惱。當然，您公開發布的任何內容都不能保證。 – evan

但如果我想我的主要網站命中，只是不是它調用所有的阿賈克斯fns然後im擰！ – Neal

回答