什麼是一個很好的網頁爬蟲下載HTML頁面？

我正在尋找一個網絡爬蟲/蜘蛛來下載單個頁面。什麼是支持這個的好的（最好是免費的）產品？什麼是一個很好的網頁爬蟲下載HTML頁面？

2011-10-18 Cirem

請你說明這個問題一個編程問題？如果不是，請閱讀我們的[常見問題]（http://stackoverflow.com/faq），看看哪些問題可以接受。 – Oded

@Oded：是的，這很可能屬於[superuser.com]（http://superuser.com）或者[webmasters.stackexchange.com]（http://webmasters.stackexchange.com）。 – Unsigned

wget或curl想起來。你的要求究竟是什麼？你需要遞歸抓取頁面，還是隻下載特定的URL？ wget可以做到這一點。

2011-10-18 15:27:14 Unsigned

我會去WGET www.gnu.org/s/wget/

2011-10-18 15:27:22 briantyler

如果你想下載一個洞網站然後給wget一試。它具有遞歸下載的功能。如果您需要操縱標題並只下載幾個小文件，請嘗試curl（或wget）。如果你需要像下載大文件的功能，我建議aria2。

2011-10-18 15:32:20 Mark

2011-10-18 15:41:31 Kiril

回答