scrapy保存不同的產量DIC在同一個JSON對象

Question

我有scrapy代碼如下所示：

def parse(self, response): 
    for quote in response.css('div.search-item '): 
     f = quote.css('a.stack::attr(href)').extract_first() 
     f = response.urljoin(f) 
     # print(f) 
     yield { 
      'text': quote.css('span.tags::text').extract_first(), 
      'title': quote.css('h3 em::text').extract_first(), 

      } 
     yield response.follow(f, self.parse_program) 

def parse_program(self, response): 
    def extract_with_css(query): 
     return response.css(query).extract_first().strip() 

    yield { 
     'name': extract_with_css('div.headline h1::text'),} 

結果變成是這樣的：

{'text':"sdada",'title':"12321q"} 
{'name':"sdasdsa"} 

我想讓它像：

{'text':"sdada",'title':"12321q",'name':"sdasdsa"} 

我該怎麼辦？

Answer 1

您需要使用要求元對於這一點，當你把所有的數據

def parse(self, response): 
    for quote in response.css('div.search-item '): 
     f = quote.css('a.stack::attr(href)').extract_first() 
     f = response.urljoin(f) 
     # print(f) 
     data = { 
      'text': quote.css('span.tags::text').extract_first(), 
      'title': quote.css('h3 em::text').extract_first(), 

      } 
     yield response.follow(f, self.parse_program, meta={"data": data}) 

def parse_program(self, response): 
    def extract_with_css(query): 
     return response.css(query).extract_first().strip() 
    data = response.meta["data"] 
    data['name'] = extract_with_css('div.headline h1::text') 
    yield data