google-crawlers

-3熱度

2回答

我知道用美麗的湯姆模塊編寫Python爬蟲。現在我想檢測是否有人抓取我的網站。怎麼做。有人可以指向我的代碼或源代碼。基本上我正在尋找在Python中編寫反爬行器。

0熱度

1回答

我想爲我擁有的大型數據庫實現一些圖像。我不是一個接一個地搜索，下載和重命名，而是考慮一個腳本，它會將每個關鍵字的第一個谷歌圖像結果下載到我的服務器中。這可能嗎？關於網絡爬蟲的東西？我搜索了Google API文檔和其他StackOverflow帖子，但沒有回答我的問題。

1熱度

1回答

如何通知履帶阿賈克斯供電的頁面完全加載和準備採取的快照

有角/ REST供電的網頁，但沒有使用導航模塊（沒有基於哈希（＃！）導航）。儘管貶低谷歌的AJAX爬行webmasters-ajax-crawling，似乎爬蟲只能看到JS生成的內容不依賴於AJAX（REST）調用響應，並且看不到頁面內容取決於AJAX調用響應。感覺就像谷歌的頁面呈現不給足夠的時間，因爲它沒有能力來識別，如果在JS所有預期的邏輯已經完成completelly .. 問：有沒有辦

0熱度

1回答

Vue.js |爬行者無法關注v-for generated鏈接

我有一個使用Laravel和Vue.js渲染列表的小站點。你可以查看它here。它看起來像Google抓取工具無法關注由v-for生成的鏈接。 Google Search Console說：Not found: vergleichen/%7B%7B%20anbieter.slug%20%7D%7D以及我所知道的所有onpage抓取工具都無法抓取鏈接。我在做什麼錯？有沒有解決方法？任何幫助表示讚賞

-1熱度

1回答

谷歌爬蟲如何通過互聯網找到每一個頁面

今天我有一個問題，如果谷歌爬蟲如何在爬行過程中通過互聯網找到每一頁，請分享我的答案，如果你有。查看下面的鏈接，如果你需要更多的話。 HOW SEARCH WORKS 在此先感謝!!!!

-1熱度

1回答

我們無法訪問您網站的robots.txt文件

我使用Google網站管理員驗證了我的網站。我在Wordpress中創建了我的網站，並且還添加了robots.txt。現在，谷歌是否顯示在DNS和服務器連接，但和黃色警示標誌綠色對勾上的robots.txt取.. 我的robots.txt文件是這個樣子： robots file 而且當我運行的機器人。 txt測試在網站管理員，它給出了允許的結果..我的網站甚至沒有在谷歌搜索.. 當我提交我的網站在

1熱度

1回答

如何獲取Google索引AngularJS Web應用程序

我有一個使用AngularJS構建的單頁應用程序。所有請求都被提供到index.html中，並且從那裏開始，Angular接受路由並查詢一組API端點以獲取要顯示的數據。該網站的標題和SEO元數據和說明獲取相同的方式。值得注意的是，API端點位於不同的域上，所以SPA實際上正在執行跨源請求以獲取數據。從用戶的角度來看，一切正常。但是，當谷歌抓取網站時，它不會提取任何元數據或標題，而只是顯示角度

1熱度

2回答

不完整的robots.txt，會發生什麼？

我在網站上有一個頁面，並且無法訪問我的頁面以外的任何其他頁面。該網站用於銷售各種小型產品。經過一年多的時間，並使用谷歌AdWords來幫助推廣自己，我注意到沒有任何產品的網頁在谷歌上被索引。當我注意到該網站的robots.txt並沒有包含太多的內容，並且想知道這是否與它有關。產品網址，格式如下： www.example.com/myshopname/[product ID]?q=I[produ

0熱度

1回答

基於查詢字符串值自定義元信息

我的網站銷售的東西，我想定製頁面標題和元數據描述在某些頁面，當某些項目被查看。我希望這些自定義標題和描述在其他網站上共享時列出。例如：Twitter，FB等... 基本上我想根據查詢字符串值自定義標題和描述。這怎麼可能？我在github上看過一個基於js的插件或類似的東西，但沒有運氣。

7熱度

1回答

Google抓取方式 - Googlebot（桌面）無法正確呈現網頁

我遇到了讓Googlebot正確呈現我的網頁的問題。它渲染我的頁面的頁眉和一行（僅僅是頁面的頂部背景圖片），然後無法渲染超出該頁面的任何東西，甚至沒有頁腳，錯過了頁面的3/4。我的網站是www.runparis.fr並附上呈現的提取的屏幕截圖。其他可能相關的信息包括：所取出的代碼是什麼都不缺的獲取狀態完成（沒有缺失資源）的問題是站點範圍;它發生在我的所有網頁當我檢查了整個頁面是完全