基於PHP的網頁刮板

Question

我想要做的是使用PHP來抓取我輸入參數的網址。

我想整個原始源代碼。但是那不是全部..

我想它，然後保存爲一個HTML頁面，併到PHP腳本的本地服務器。

這是否有一個簡單的代碼段？或者有人可以輕鬆地給我寫一個代碼？

例如

我想刮http://google.com

因此，舉例來說，mysite.com/scrape.php?url=http://google.com

我希望它保存谷歌的頭版爲http://mysite.com/scraped/google.com.html

Answer 1

這裏有一個腳本，將指定URL的內容保存到一個名爲scraped.html文件：

if (isset($_GET['url'])): 
    $contents = file_get_contents($_GET['url']); 
    file_put_contents('scraped.html', $contents); 
endif; 

要在撥打file_get_contents()時使用網址，您必須在您的php.ini文件中啓用allow_url_fopen。

當然，這隻會保存請求的url的實際來源，而不是任何其他資源，如圖像，腳本和樣式表。