Bot Web質量

Question

我正在尋找一個很好的開源bot來確定谷歌索引通常需要的一些質量。

例如

• 找到重複的標題
• 無效鏈接（jspider做到這一點，我想得更多會這麼做）
• 一模一樣的頁面，但不同的URL
• 等，等等等於谷歌質量要求。

Answer 1

您的要求非常具體，所以很不可能有開源產品完全符合您的需求。

但是，有許多用於構建Web爬蟲的開源框架。你使用哪一種取決於你的語言偏好。

例如：

• 對於Python，嘗試Scrapy
• 對於Java，嘗試Arachnid
• 爲Ruby，嘗試Anemone
• 在Perl，tryWWW::Spider

一般來說，這些框架將提供類它可以根據您提供的規則來抓取和抓取網站的頁面，但是您可以通過連接自己的代碼來提取所需的數據。

Answer 2

Google Webmaster Tools是一個基於Web的服務（而不是按需BOT），並且它不會做你要求的一切 - 但它確實做了一些它，很多事情你避風港不要求，並且 - 來自谷歌 - 這無疑與您的奇怪「等相匹配，等等等於谷歌質量要求。」比其他地方更好。