Robots.txt阻止訪問所有https：//頁面

Question

語法是什麼將阻止對https：//頁面的所有漫遊器的訪問？我有一箇舊網站，現在沒有SSL，我想阻止訪問所有https：//頁

Answer 1

我不知道它是否有效，如果機器人使用/請求不同的robots.txt用於不同的協議。但是您可以通過HTTPS爲請求提供不同的robots.txt。

因此，當請求http://example.com/robots.txt時，您將交付正常的robots.txt。並且當請求https://example.com/robots.txt時，您提供不允許任何事情的robots.txt。