Scrapy：根據下載圖像的URL從下載的圖像中創建文件夾結構

Question

我有一個定義網站結構的鏈接數組。雖然從這些鏈接下載圖像，我希望同時放在一個文件夾結構，下載的圖片類似網站的結構，而不是僅僅將其重命名（如Scrapy image download how to use custom filename回答）

我對相同的代碼是這樣的：

class MyImagesPipeline(ImagesPipeline): 
    """Custom image pipeline to rename images as they are being downloaded""" 
    page_url=None 
    def image_key(self, url): 
     page_url=self.page_url 
     image_guid = url.split('/')[-1] 
     return '%s/%s/%s' % (page_url,image_guid.split('_')[0],image_guid) 

    def get_media_requests(self, item, info): 
     #http://store.abc.com/b/n/s/m 
     os.system('mkdir '+item['sku'][0].encode('ascii','ignore')) 
     self.page_url = urlparse(item['start_url']).path #I store the parent page's url in start_url Field 
     for image_url in item['image_urls']: 
      yield Request(image_url) 

它創建所需的文件夾結構，但是當我深入到文件夾中時，發現文件已放在文件夾中。

我懷疑是因爲「get_media_requests」和「image_key」函數可能異步執行，因此「page_url」的值會在「image_key」函數使用之前發生變化。

Answer 1

異步項目處理通過管道內的self阻止使用類變量是絕對正確的。您將有您的路徑保存在每一個請求，並覆蓋了幾個方法（未經測試）：

def image_key(self, url, page_url): 
    image_guid = url.split('/')[-1] 
    return '%s/%s/%s' % (page_url, image_guid.split('_')[0], image_guid) 

def get_media_requests(self, item, info): 
    for image_url in item['image_urls']: 
     yield Request(image_url, meta=dict(page_url=urlparse(item['start_url']).path)) 

def get_images(self, response, request, info): 
    key = self.image_key(request.url, request.meta.get('page_url')) 
    ... 

def media_to_download(self, request, info): 
    ... 
    key = self.image_key(request.url, request.meta.get('page_url')) 
    ... 

def media_downloaded(self, response, request, info): 
    ... 
    try: 
     key = self.image_key(request.url, request.meta.get('page_url')) 
    ...