1
我試圖找出是否域A上設置的robots.txt文件仍然適用於從域B提供的圖像,但實際上顯示在域A.robots.txt和服務從一個單獨的域的圖像
例子:
某處的頁面上www.example.com
,有一個:
<img src="http://img.example.com/images/myimage.jpg" />`
在www.example.com/robots.txt
,它說:
User-agent: *
Disallow: /images/
因此,當蜘蛛擊中www.example.com並看到從img.example.com提供的圖像時,它會對它進行索引嗎?
正如我懷疑 - 另一位開發人員的評論讓我懷疑自己!非常感謝您的確認。 – chrismou