通過wget命令抓取sitemap.xml鏈接

Question

我嘗試抓取sitemap.xml的所有鏈接以重新緩存網站。但wget的遞歸選項不起作用，我只得到迴應：

遠程文件存在但不包含任何鏈接 - 不檢索。

但是肯定的是，sitemap.xml中充滿了「http：// ...」鏈接。

我試過幾乎所有的工作對我來說wget的，但沒有的選項：

wget -r --mirror http://mysite.com/sitemap.xml 

有誰知道如何打開一個網站的sitemap.xml內部的所有鏈接？

感謝， 多米尼克

Answer 1

似乎wget無法解析XML。所以，你必須手動提取鏈接。你可以這樣做：

wget --quiet http://www.mysite.com/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -i - 

我學會了這個把戲here。