google-crawlers

-1熱度

1回答

我試圖抓取相關領域的鏈接，即計算機科學，但在獲取一些非常奇怪的輸出鏈接的方式中。即使當我嘗試在網頁瀏覽器中打開這些鏈接時，它也顯示未找到頁面。下面是代碼： from bs4 import BeautifulSoup import requests a = input("search:") page = requests.get("https://www.google.dz/search?

-1熱度

1回答

網站遷移+重新設計= 20k 404錯誤鏈接和糟糕的搜索引擎優化

我最近將我的網站從一個主機移動到另一個主機，Joomla內容被WordPress網站取代。但現在谷歌搜索控制檯告訴我，所有以前的Joomla網站鏈接都失蹤了，這相當於20K以上的抓取錯誤，並且我失去了所有的搜索引擎優化（網站從第一個結果中消失了）。我該怎麼辦？我一直在尋找遍佈互聯網，但我不能創建一個重定向每一個缺失的鏈接，有沒有一種簡單的方法來解決這個問題？謝謝。

0熱度

1回答

我應該如何渲染一個帶有許多鏈接的小部件，這樣Google就不會懲罰博客了？

我們運行一項服務（不會提及URL，因爲這不是一個音調），並且需要有關Google觀看鏈接事宜的建議。該服務適用於博主，並允許他們在其博客文章中創建「鏈接」。鏈接就像是他們自己博客裏的一個迷你pinterest，其他用戶可以添加圖片/鏈接/博客帖子。創建此鏈接的小部件是一個JavaScript代碼段，可以遠程調用我們的服務器。服務器的響應呈現在用戶的博客中。現在，小部件包含了不少鏈接。我

1熱度

2回答

Robots.txt和元數據標籤是否足以阻止搜索引擎索引依賴於$ _GET變量的動態頁面？

我創建一個PHP頁面，只有通過令牌進行訪問/通過$ _GET 因此通收到，如果你去到以下網址，你會得到一個通用或空白頁 http://fakepage11.com/secret_page.php 不過，如果你使用的令牌的鏈接它會顯示特殊內容 http://fakepage11.com/secret_page.php?token=344ee833bde0d8fa008de206606769e4 當然

0熱度

1回答

Google Search Console檢測到500個服務器錯誤

我要求我的客戶的開發人員修復出現在抓取錯誤報告中的500個錯誤，但他不想解決這個問題直到我們找到確定這些URL來自何處的根問題。被檢測到的URL似乎來自該網站的一個更老的版本（並且可能來自他們已經設置的其他一些域名，這些域名實際上是具有不同域名的網站的重複，重定向）。他的問題是：爲什麼GSC目前檢測這些URL，並且它在哪兒發現他們（絕大多數的這些鏈接是從服務於一個500錯誤其它頁面內的鏈接

0熱度

2回答

如何辨別谷歌本文是否爲另一篇文章的一部分

在我網站的每篇文章中都有其他文章的預覽。他們是隨機預覽。問題是預覽真的很大：有標題，小標題和6行文字。有時谷歌認爲他們是我文章的一部分。有什麼辦法可以告訴谷歌這個div包含來自另一篇文章的文本嗎？預覽例如：

1熱度

1回答

谷歌沒有按預期抓取SPA

我使用prerender.io，它與其他抓取工具（如Facebook）完美協作。但是，當我要求谷歌提取和呈現我的網站管理員工具的鏈接，它似乎不正確，即使它呈現正確。爲了澄清，在網頁渲染標籤的圖像預覽是正確的，但擷取選項卡上的代碼仍然沒有呈現像這樣： <meta property="og:title" content="{{head.name}}" /> <meta property="og:

-1熱度

1回答

Angular.js Google抓取

我在我的網站中使用了角。在特定部分不是整個網站。谷歌索引角度有問題。所以我使用非角度部分爲谷歌。但如果普通用戶去我的網站去角部分。（我的意思是我檢查後，如果（谷歌或用戶），我去非角度或角度）。這是對的？或谷歌可能會將我的網站添加到黑名單？

-1熱度

1回答

谷歌網站管理員工具和XML發電機權利要求頁不可達

我最近做了一些改變，以我的網站，並希望使用谷歌網站管理員工具&更新使用任何站點地圖生成器我可以在網上找到的網站地圖，檢查一切。但是在站點地圖生成器無法連接到我的網站和谷歌宣稱的頁面是可達我想刪除我最近添加的.htaccess文件，但它並沒有幫助這是我的。 htaccess文件，這對我來說很好。我可以從清除緩存等所有瀏覽器都達到我的網頁... RewriteEngine On RewriteC

-1熱度

1回答

谷歌如何更新他們的搜索索引

如果我問一個關於這個問題，我很快就可以在Google上搜索我的問題標題並獲得我的問題鏈接作爲第一個結果。此問題鏈接必須已被他們的機器人抓取。他們如何快速更新搜索索引？