網絡爬蟲應用

Question

任何人都可以推薦一個網站爬蟲，可以顯示我的網站中的所有鏈接？

Answer 1

Xenu是我找到的最好的鏈接檢查工具。它會檢查所有鏈接，然後給你一個選項來查看或導出它們。它是免費的，你可以從他們的網站下載它http://home.snafu.de/tilman/xenulink.html。

Answer 2

只要您是該網站的所有者（即您擁有所有文件），Adobe Dreamweaver就可以生成所有內部外部鏈接的報告，並報告所有損壞的鏈接（孤立文件）。但是，您必須先在Dreamweaver中設置您的網站。

Answer 3

W3C有最好的一個，我發現

http://validator.w3.org/checklink

Answer 4

如果你需要做的鏈接的任何後期處理，我建議任何機械化的許多變種。

在Ruby：

require "rubygems" 
require "mechanize" 
require "addressable/uri" 

processed_links = [] 
unprocessed_links = ["http://example.com/"] # bootstrap list 
a = WWW::Mechanize.new 
until unprocessed_links.empty? 
    # This could take awhile, and depending on your site, 
    # it may be an infinite loop. Adjust accordingly. 
    processed_links << unprocessed_links.shift 
    a.get(processed_links.last) do |page| 
    page.links.each do |link| 
     link_uri = Addressable::URI.parse(link).normalize 
     # Ignore external links 
     unprocessed_links << link_uri.to_str if link_uri.host == "example.com" 
    end 
    end 
end 

大意的東西。

Answer 5

Larbin ...需要一點C++編碼，但它是完美的高性能網絡爬蟲基礎，可用於基本上做所有事情，從linkwalking到indexnig到數據採集。