如何爲網站上的不同蜘蛛設置不同的語言？

Question

我有多語言網站。實際上，網站語言是根據網頁瀏覽器語言選擇的。

有沒有什麼辦法根據搜索引擎蜘蛛設置語言？例如：

• 顯示的網站在中國對百度搜索引擎的蜘蛛，

• 顯示的網站在俄羅斯的Yandex爲蜘蛛？

Answer 1

這叫做crawler identification。當向您的網站發出請求時，User-Agent field包含有關瀏覽器或爬蟲的信息。

根據搜索結果，本欄位的值將不同。然後您可以將不同的值與不同的語言相關聯。你也可以看看large list of user agents。

---

我還是蠻相信通過這樣做，你會降低在搜索引擎您的排名，因爲你不是真正的用戶提供抓取不同的反應，但我沒有堅實的引用支持這種說法。

在所有情況下，爬蟲預計將聚集資源在不同的語言，那些爬蟲知道如何處理與多語種網站，也許除了這些嘗試按照每最差實踐的人。另外，您引用的搜索引擎不限於一種語言。 Yandex可在例如Turkish中找到。至於百度，According to Wikipedia，它服務於中國，日本，泰國，埃及和印度。