智能URL同步/下載引擎可用的開源？

Question

我想知道是否有人知道一個開源的URL同步/下載引擎，或者如果我最終會寫我自己的。

預期功能： - 提供HTTP URL的普通列表要在本地磁盤儲存 同步 - 發動機作爲有效照顧的同步URL內容（HEAD請求，檢查是否有改變）和有效（用所有的下載執行Gzip壓縮） - 最好能夠通過識別頻繁更改的URL來優化其行爲方式

是否有人知道這種引擎的相似實現？最好在Perl？

Answer 1

你看過LWP附帶的lwp-mirror程序嗎？這可能是一個開始的好地方。或者，wget有更多的功能。