搜索引擎如何抓取網站？

我正在創建一個多語言網站，並使用每種語言的資源管理器。搜索引擎如何抓取網站？

當用戶選擇一種語言時，所有頁面都使用選定的資源bondles。

由於整個站點只能以一種語言提供，因此搜索引擎如何抓取其他語言？還是搜索引擎抓取可選提供的語言？

你知道，當你有一個靜態的多語種網站，有單獨的頁面爲每種語言，您不必與搜索引擎的任何問題。而每個頁面都有唯一的網址。

但是在動態應用程序中，每個語言都沒有單獨的頁面，而必須使用資源，您可以添加新的語言或刪除現有的語言等。

因此，我們必須使用URL重寫器/路由來爲每種語言生成唯一的URL。查看下面的例子。

假設我們在以下url中有一個webform，並且我們的應用程序支持兩種語言（例如英語en-US，英國英國en-GB）。

www.domain.com/home.aspx

有一些問題，我們對所有的語言永久網址。因此，無論如何，搜索引擎將會索引默認語言。解決方案很簡單，您必須使用Url重寫器/路由爲每種語言生成單獨的url，如下所示。

www.domain.com/{country}/{language}/home.aspx

之後，你必須從上面的URL推斷指定區域性名稱並設置當前文化和UICulture屬性。因此，請求的頁面將以所需的語言顯示。

在這種情況下，站點地圖應該以編程方式生成並使用與上面相同的方式。

www.domain.com/{country}/{language}/sitemap.xml

你必須從上面的網址推論指定的區域性和生成網站地圖依賴文化。爲了向搜索引擎介紹可用的站點地圖，您必須使用robots.txt，它們也應該以編程方式生成。

2010-02-20 10:39:18

我只有一個頁面，所有的語言都使用這個頁面來顯示內容，這些方法讓我有一個頁面和無限的語言環境，所以我希望搜索引擎抓取我的所有當地人不僅是其中的一個。 –

@Nasser，我更新了我的帖子。請檢查出來。 –

@Mahdi，對於所有語言，我只有一個頁面，網站地圖對於所有語言都是一樣的。我也沒有任何子域或任何其他虛擬目錄每個語言，我只是設置文化和UICulture代碼和用戶看到翻譯的頁面。並且只有我的搜索引擎索引的默認語言。 –

您可能正在使用cookies /會話記憶所選語言，對嗎？它們都不影響搜索引擎。他們只是忽略cookie。但是，如果您依靠會話變量記憶所選語言，那麼在每次創建新會話時都會在沒有Cookie的情況下取消語言選擇。

2010-02-20 08:41:39 ankitjaininfo

回答