排除：機器人沒有索引

我已經配置了網址來抓取網頁內容數據。所有網絡數據都在我的GSA中成功抓取，但在索引診斷中，我收到了一個URL中的「Excluded：Robots no index」消息，並且該URL中的文檔未在GSA中編入索引。排除：機器人沒有索引

文檔不包含任何[META NAME =「ROBOTS」CONTENT =「NOINDEX，NOFOLLOW」] metatag。

你在GSA中觀察過這種行爲嗎？

2017-01-16 A Rathod

檢查相關robots.txt的內容，如果它不在實際頁面中作爲元數據，則會出現規則。

2017-01-17 00:43:52 BigMikeW

我已經檢查robot.txt文件，並且沒有發現任何規則，爲此網址禁止url模式....也沒有規則在頁面 –

繼續尋找，你有一個規則定義的地方，GSA只是表彰它。 – BigMikeW

簽入開始和阻止URL>不跟隨GSA配置中的模式。它可能已被排除在那裏。

2017-02-09 20:39:34 Sandeep

我也有這個問題。我首先通過使用在線robots.txt測試人員驗證了我的URL沒有被從索引中排除。然後，我在GSA的「開始和阻止URL」中測試了我的鏈接，以確保它與任何阻止過濾器不匹配。

一旦這些可能性被消除，我去索引 - >診斷 - >索引診斷，並選擇適用的集合。從那裏，一旦我鑽完並單擊文件名，就會出現一個屏幕，其中包含一個「重新抓取此URL」的按鈕。點擊這個按鈕爲我解決了這個問題。

2017-09-09 12:29:35 Allen

回答