如何從另一個網站'抓取'內容

Question

有朋友問我這個，我無法回答。

他問：我做這個網站，您可以存檔您的網站...

它的工作原理是這樣，你進入你的網站，如，something.com然後我們的網站抓取該網站像內容圖像和所有這些，並將其上傳到我們的網站。然後，即使持有something.com的服務器關閉，人們也可以在oursite.com/something.com上查看該網站的完整副本。

他怎麼能這樣做？ （PHP？）和什麼會有一些要求？

Answer 1

這聽起來像你需要創建一個webcrawler。儘管我會推薦使用C++（使用cURL），Java（使用URLConnection）或Python（w/urrlib2）來爲Web爬蟲編寫任何語言。你可能也可以用curl或wget命令和BASH快速破解一些東西，儘管這可能不是最好的長期解決方案。此外，不要忘記，如果您抓取某人的網站時應該下載，解析並尊重「robots.txt」文件。

Answer 2

使用wget。無論是linux版本還是gnuwin32軟件包的windows版本。 get it here。

Answer 3

1. 使用curl獲取html。
2. 現在將所有圖像，CSS，JavaScript改爲絕對網址，如果它們是相對URL的話。 （這有點不道德）。您可以從您的網站獲取所有這些資源並進行託管。
3. 尊重所有網站的「robots.txt」。 read here。