如何正確拆分網站？

Question

假設我有一個新 verison一個網站：

http://www.mywebsite.com 

，我必須要保持年長網站的子目錄和seperately對待它：

http://www.mywebsite.com/old/ 

我的新的網站有鏈接到主頁上的舊一個，但反之亦然。

1）我應該創建2個站點地圖嗎？一個用於新和一個用於舊？

2）當我的網站被抓取時，如何限制抓取工具的路徑？換句話說，由於新的網站已鏈接到舊的之一，該履帶將到達舊的網站。如果我這樣做我的robots.txt：

User-agent: * 
Disallow: /old/ 

我擔心它不會抓取該老網站（使用第二站點地圖），因爲它阻止。那是對的嗎？

Answer 1

1）您可以將所有URL包含在一個文件中，也可以創建單獨的文件。人們可以將站點地圖理解爲「每個（網站）站點」，例如，看http://www.sitemaps.org/：

最簡單的形式，站點地圖是列出了網站網址關於每個網址的其他元數據的XML文件

既然你現在有兩個網站，你可能創建兩個站點地圖。但是，我不認爲這是嚴格定義的方式。 2）好吧，如果你阻止robots.txt中的URL，這些URL將不會被符合的機器人訪問。這並不意味着這些網址將永遠不會被搜索引擎索引，但網頁（=內容）則不會。