Scrapy xpath如何

Question

我的蜘蛛需要適應一些網站，我需要抓取的信息有時在div [1]和其他時間在div [2]。這裏有一個例子：

item['details'] = site.select('//*[@id="detailFacts"]/div[2]/div[2]//text()').extract() 

或

item['details'] = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()').extract() 

如何合併這兩個在一個單一的語句，以便scrapy從這些無論是取我嗎？

Answer 1

試用一下這個：

details = site.select('//*[@id="detailFacts"]/div[1]/div[2]//text()|//*[@id="detailFacts"]/div[2]/div[2]//text()').extract() 
item['details'] = next(s for s in details if s) # getting first not-empty item from the list 

或

details = site.select('//*[@id="detailFacts"]/div[1]|div[2]/div[2]//text()').extract() 
item['details'] = next(s for s in details if s) # getting first not-empty item from the list 

希望它爲你工作。