我如何使用wget下載scrapy的文件

Question

scrapy沒有正確下載文件。我有我的項目的URL，所以我想我可以使用wget來下載文件。

如何在scrapy process_item函數中使用wget？或者，是否有另一種下載文件的方式？

class MyImagesPipeline(ImagesPipeline): 
    #Name download version 
    def image_key(self, url): 
     image_guid = url.split('/')[-1] 
     return 'full/%s' % (image_guid) 

    def get_media_requests(self, item, info): 
     if item['image_urls']: 
      for image_url in item['image_urls']: 
      # wget -nH image_ul -P images/ 
      yield Request(image_url) 

Answer 1

此代碼將執行wget的，你可以用下面的線

import subprocess 

    ... 

subprocess.call(['wget','-nH', image_url, '-P images/']) 

你可以在這裏閱讀subprocess.call更換您的評論：http://docs.python.org/2/library/subprocess.html