2017-01-16 80 views
0

我已經配置了網址來抓取網頁內容數據。所有網絡數據都在我的GSA中成功抓取,但在索引診斷中,我收到了一個URL中的「Excluded:Robots no index」消息,並且該URL中的文檔未在GSA中編入索引。排除:機器人沒有索引

文檔不包含任何[META NAME =「ROBOTS」CONTENT =「NOINDEX,NOFOLLOW」] metatag。

你在GSA中觀察過這種行爲嗎?

回答

0

檢查相關robots.txt的內容,如果它不在實際頁面中作爲元數據,則會出現規則。

+0

我已經檢查robot.txt文件,並且沒有發現任何規則,爲此網址禁止url模式....也沒有規則在頁面 –

+0

繼續尋找,你有一個規則定義的地方,GSA只是表彰它。 – BigMikeW

0

簽入開始和阻止URL>不跟隨GSA配置中的模式。它可能已被排除在那裏。

0

我也有這個問題。我首先通過使用在線robots.txt測試人員驗證了我的URL沒有被從索引中排除。然後,我在GSA的「開始和阻止URL」中測試了我的鏈接,以確保它與任何阻止過濾器不匹配。

一旦這些可能性被消除,我去索引 - >診斷 - >索引診斷,並選擇適用的集合。從那裏,一旦我鑽完並單擊文件名,就會出現一個屏幕,其中包含一個「重新抓取此URL」的按鈕。點擊這個按鈕爲我解決了這個問題。