下載特定文件

Question

我以前使用的Linux終端上使用wget -r下載帶有特定擴展名的文件：

wget -r -A Ext URL 

但現在我在這裏的講師分配用來做同樣的事情PHP或Python。誰可以幫忙？

Answer 1

您可以使用PHP函數file_get_contents()檢索文件的內容。該函數的第一個參數是filename，它可以是文件的本地路徑或URL。
見例如從PHP docs

<?php 
    $homepage = file_get_contents('http://www.example.com/'); 
    echo $homepage; 
?> 

Answer 2

我猜的urllib相當不錯，你

import urllib 
urllib.urlretrieve (URL, file) 

Answer 3

或者，你可以使用Requests：請求是唯一的非轉基因HTTP的Python庫，可安全食用。

（從DOC）實施例：

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) 
>>> r.status_code 
200 
>>> r.headers['content-type'] 
'application/json; charset=utf8' 
>>> r.encoding 
'utf-8' 
>>> r.text 
u'{"type":"User"...' 
>>> r.json() 
{u'private_gists': 419, u'total_private_repos': 77, ...} 

Answer 4

對於Python，使用web爬蟲庫如scrapy。

它有classes當傳遞類似於你放在wget命令行上的參數時，它會完成所有的工作。

您可以使用scrapy pipelines來過濾不需要的下載，並增值下載，例如添加縮略圖。