「User-agent：* Disallow：/」是什麼意思？

在/robots.txt頁面上，這是什麼意思？「User-agent：* Disallow：/」是什麼意思？

User-agent: * 
Disallow:/

這是否表示您無法在搜索引擎上搜索並獲取本網站的搜索結果？例如它是否阻止Google？

來源

2014-02-27 user3362291

這個問題似乎是脫離主題，因爲它是關於SEO –

它阻止（好）機器人（例如，Googlebot）索引任何頁面。

從this page：

「用戶代理：*」是指本部分適用於所有的機器人。「不允許：/」告訴機器人它不應該訪問該網站上的任何頁面。

使用的/robots.txt時有兩個重要的因素：

機器人可以忽略你的/robots.txt。尤其是掃描網絡中的安全漏洞的惡意軟件機器人，以及垃圾郵件發送者使用的收件人的電子郵件地址將不予理睬。

/robots.txt文件是公開可用的文件。任何人都可以看到你不想讓機器人使用你的服務器的哪些部分是。

來源

2014-02-27 20:48:42 Mooseman

確實注意到，無論是惡意的，還是編碼不好的機器人都可能繼續併爲該網頁編制索引。 – user2366842

@ user2366842我相信我已經充分說明了這一點。 – Mooseman

看起來像你的編輯發生在我的帖子之前。 – user2366842

查看robots.txt specification。

User-agent: *匹配每個支持robots.txt的機器人（並且在同一文件中沒有更具體的記錄，例如User-agent: BotWithAName）。

Disallow: /禁止這些漫遊器抓取主機上的任何東西。

請注意，並非所有機器人都支持並尊重robots.txt文件。

來源

2014-03-03 21:19:28 unor

「User-agent：* Disallow：/」是什麼意思？

回答

相關問題