googlebot

1熱度

4回答

如果href頁面包含含有noindex和nofollow的漫遊器元標記，我是否需要將nofollow rel屬性添加到鏈接？

如果我有一個頁面（「dontFollowMe.html」）與meta標籤： < meta name = "robots" content = "noindex, nofollow"/> ...我鏈接到網頁... 我需要包括nofollow的相對屬性的一個元素？： <a href="dontFollowMe.html" rel="nofollow">sign in</a> 感謝

-1熱度

1回答

googlebot以不正確的語言閱讀網站

我的網站遭到黑客入侵，useragent正在向googlebot發送不正確的網頁。它看起來像是由於額外的代碼閱讀錯誤的語言： dir="ltr" lang="ja" xml:lang="ja"> <head> <meta http-equiv="Content-Type" http-equiv="content-type" content="text/html; charset=UTF-8"

3熱度

2回答

爲什麼Googlebot會從僅限JSON的網址請求HTML？

在這樣的頁面：https://medstro.com/groups/nejm-group-open-forum/discussions/61 我有這樣的代碼： $.getJSON("/newsfeeds/61?order=activity&type=discussion", function(response) { $(".discussion-post-stream").rep

1熱度

2回答

隱藏來自Google的HTML頁面的一部分

我有一個簡單的HTML頁面，我需要隱藏Google的一小部分文本。 <p> text i want to hide </p> 我可以加載這個文本使用PHP包括和使用robots.txt但問題是 - 如果有人設置鏈接到這個PHP文件 - 谷歌將再次顯示我想隱藏的文本。我的下一個想法是： $str = 'textiwanttohide'; echo base64_decode($str); 但

0熱度

3回答

如何要求谷歌重新抓取一個URL（不取作爲谷歌）

我工作與的每天15,000個訪問一個網站上，我們已經對聘請的廣告，他們中的一些重要（它們是銀行）和這類廣告的內容永遠不會改變，但在某些時候，他們宣佈他們需要一些重複內容的人（工作和要求永不改變：|）。現在我們需要告訴Googlebot重新抓取這些網址，因此我們用不同的文字更新了目標網頁的內容，但Googlebot無法按照需要快速抓取它們。使用Fetch as Google是一種意見，但有很多廣告，

0熱度

1回答

Django googlebot抓取AJAX網址

我已經設置了一個Django網站，並收到GoogleBot提供的這個提醒，我認爲它將放入我的網址的測試參數（零）。零是在我的數據庫不存在的主鍵 <WSGIRequest path:/for_sale_detail/0/, GET:<QueryDict: {}>, POST:<QueryDict: {}>, COOKIES:{}, META:{u'CSRF_COOKIE': u'xxxxx

0熱度

2回答

爲什麼Googlebot無法抓取這個robots.txt？

我不明白爲什麼Googlebot無法抓取和索引我創建的WordPress網站。這是我爲我的robots.txt： User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-login.php Disallow: /wp-content/ Disallow: /content/ Allow: /con

0熱度

1回答

使用pushState的AngularJS應用程序的HTML代碼片段？

我決定使用pushState在AngularJS中開發面向客戶端的應用程序是否安全。我讀過，當在AngularJS應用中使用pushState時，我們不需要擔心Googlebot，因爲它現在可以執行足夠的JS來爲自己生成一個HTML片段。但後來我想知道Bing,Facebook和其他機器人和刮板。我見過的用於製作AngularJS搜索引擎優化的教程都處理使用hashbangs（＃！）的應用程序。

0熱度

1回答

機器人meta和robots.txt

我在我的php頭中使用條件語句來排除機器人後面的一些文件。但是暫時我不得不封鎖一些這些網頁，因爲我的網站表現不佳。在這個階段，我使用了robots.txt來排除它們。但他們仍然沒有追隨Meta Index。 Google會否認爲這種矛盾是不好的？

0熱度

1回答

有沒有方法可以找到Google在特定域中抓取的所有唯一網址？

我想知道是否有辦法獲取Google搜索爬蟲爬行的所有網址（包括子網域）？