我有一個wordpress網站已被搜索引擎索引。noindex follow in Robots.txt
我編輯了Robots.txt以禁止搜索索引中的某些目錄和網頁。
我只知道如何使用allow和disallow，但不知道如何在Robots.txt文件中使用follow和nofollow。
我在某處閱讀，同時在Google上搜索，我可以擁有不會在Google中編入索引的網頁，但會爲網頁搜索抓取網頁。這可以通過禁止Robots.txt中的網頁來實現，並使用關於網頁的內容。
請讓我知道如何在Robots.txt文件中使用follow和nofollow。
感謝
薩米特
不，你不能。 你可以設置你想阻止哪些目錄以及哪些機器人，但你不能通過robots.txt設置nofollow 在頁面上使用機器人meta標籤來設置nofollow。
a。）遵循/不遵循和索引/無索引規則不適用於robots.txt（設置常規站點規則），但是適用於頁面元機器人標籤（設置此特定頁面的規則）
灣）谷歌不會抓取到禁止網頁，但它可以索引他們在SERP（使用入站鏈接或網站目錄，如Dmoz的信息）。
話雖如此，沒有PR值可以從中獲得。
谷歌實際上確實識別noindex：指令內的robots.txt。 Matt Cutts在談論它：http://www.mattcutts.com/blog/google-noindex-behavior/
如果您在robots.txt中爲Google索引中的頁面添加了「Disallow」，您通常會發現該頁面停留在索引中，如鬼，刪除了其關鍵字。我想這是因爲他們知道他們不會抓取它，並且他們不希望索引包含bit-rot。因此，他們用「由於此網站的robots.txt無法提供此結果的描述 - 瞭解更多信息」來替換頁面描述。
因此，問題依然存在：我們如何從Google刪除該鏈接，因爲「Disallow」無效？通常情況下，您希望在相關頁面上使用元機器人noindex，因爲如果Google發現此更新，它實際上會將該頁面從索引中移除，但在您的漫遊器文件中使用該Disallow指令時，他們永遠不會知道。
因此，您可以從robots.txt中移除該網頁的Disallow規則，並在網頁的標題中添加元機器人noindex標記，但現在您必須等待Google返回並查看您告訴他們的網頁把...忘了吧。
您可以從您的主頁創建一個新的鏈接，希望Google能夠得到提示，或者您可以通過將Noindex規則直接添加到robots.txt文件中來避免整個問題。在上面的帖子中，Matt說這會導致鏈接被刪除。