檢查我的網站文件的網站

Question

有沒有一個程序，抓取指定的網站，並吐出，如果有一個其他網站的引用？我有圖片，視頻文件，pdf等。我需要給另一位開發人員完成端口到他們的新服務器。

我剛將一箇舊網站轉移給另一個人，他們仍在使用我的文件。我不知道所有文件都是100％，我想確定我需要給他們什麼文件。如果能夠抓取linkchecker，並且如果存在對網站根目錄（例如sub.domain.com）的引用，那麼它會很好，然後它會吐出關於它的信息（哪個頁面，什麼網址）。

我不想在這一點上阻止網站使用這些文件。

我在Mac上，所以任何終端程序將會很好。

Answer 1

您可以檢查出wget。它可以遞歸地（-r選項）下載網站並將其內容保存到您的硬盤。它通常（即，如果沒有另外指定）將所有內容下載到像主機那樣命名的目錄中。

但要小心，不要遞歸下載整個互聯網;所以一定要指定正確的--domains或--exclude-domains選項。

Answer 2

你可以嘗試Sitesucker它可以用來下載站點上使用的所有文件（以及任何鏈接到的設備）。這是OSX（和iPhone）的捐贈軟件，因此可能就是您正在尋找的東西。我相信它會爲它下載的文件創建一個日誌文件，所以如果您只是想將URL發送給您的同事而不是實際的文件，您可以發送該文件。