抓取整個網站內容

Question

我將內容源指定爲內部非共享點網站

例如， http://internal.example.com

但是，除非我指定'自定義 - 指定頁面深度和服務器躍點：'並離開'頁面深度'和'頁面深度'，否則完全爬網只會爬行網頁根目錄中的22個頁面限制服務器啤酒花'爲無限制

然後，讓爬行變得精神！

更新：我使用的是MS搜索Server Express的2008

Answer 1

您可能要指定要使用要做到這一點爬行什麼工具/技術。另外，你有沒有試過其他的東西，結果是什麼？

Answer 2

Wget很聰明。以下是我用於遞歸快照站點的命令行。

wget -r -k -K --no-parent http://internal.example.com/

http://gnuwin32.sourceforge.net/packages/wget.htm