Google已經開始抓取我的網站，但是來自臨時域（beta.mydomain而不僅僅是mydomain），而且我只希望他抓取我的一些網頁。因此，我想停止抓取並只讓他們抓取我在網站地圖中指定的網頁。我怎樣才能做到這一點？ （我知道如何添加一個站點地圖，但我怎樣才能阻止他們當前的抓取，並要求他們只抓取站點地圖）停止Google抓取我的網站
更新：如果我殺死了子域beta.mydomain - 會是「罰款」他們還是會繼續瀏覽所有被殺的頁面並且「不喜歡」他們？我可以在每個頁面的標題中指定它嗎？
您可以從robots.txt文件開始。
我想你已經看過網站管理員工具和網站地圖，從你說什麼？請注意，雖然網站地圖會幫助告訴谷歌要抓取的內容，但告訴他們哪些內容無法抓取並不會很好。
爲此，您需要使用robots.txt文件來阻止某些頁面/文件夾。
將使用robots.txt阻止所有頁面併爲網站地圖提供特定頁面嗎？ – Noam
使用robots.txt，參見this site。
在您的站點的根文件夾中創建一個名爲'robots.txt'的單個文本文件。裏面...
User-agent: *
Disallow: /thisfolder/
Disallow: /foo.html
Disallow: /andthisfoldertoo/
Disallow: /andthisfile.html
我把它用於項目文件。事實上，正如我寫這篇文章，我想我會改變我的項目的工作方式，並始終把他們叫做/項目/ PROJECT1 /這樣一個行會做一個子目錄...
Disallow: /projects/
AND我也爲我的圖像文件添加一行。我不喜歡我的圖片在網上...
Disallow: /imgs/
看看使用robots.txt文件。只需谷歌，並閱讀有關它。 – dehlenbe