如何自動下載網站的html源代碼

Question

是否有人知道任何程序，我可以輸入一個域名，該程序將抓取整個域，並能夠爲我下載所有的HTML源代碼 - 所以如果網站在頁面上有鏈接，它只會抓取到域名上的頁面，而不是顯式地向外部域名。

Answer 1

看scrapy爲蟒蛇：

http://www.scrapy.org

或crawler4j爲Java：

http://code.google.com/p/crawler4j/