Scrapy不回工作，併產生共同

Question

這是我的代碼

def parse(self, response): 
    soup = BeautifulSoup(response.body) 
    hxs = HtmlXPathSelector(response) 
    sites = hxs.select('//div[@class="row"]') 
    items = [] 

    for site in sites[:5]: 
     item = TestItem() 
     item['username'] = "test5" 
     request = Request("http://www.example.org/profile.php", callback = self.parseUserProfile) 
     request.meta['item'] = item 
     **yield item** 

    mylinks= soup.find_all("a", text="Next") 
    if mylinks: 
     nextlink = mylinks[0].get('href') 
     yield Request(urljoin(response.url, nextlink), callback=self.parse) 

def parseUserProfile(self, response): 
    item = response.meta['item'] 
    item['image_urls'] = "test3" 
    return item 

現在我的上述作品，但與我沒有得到的item['image_urls'] = "test3"

它即將爲空現在

值如果使用return request而不是yield item

然後得到錯誤cannot use return with generator

如果我刪除此行

yield Request(urljoin(response.url, nextlink), callback=self.parse) 然後我的代碼工作正常，我可以得到image_urls但後來我canot按照鏈接

那麼，有沒有辦法讓我可以使用return request和yield together等等我得到的item_urls

Answer 1

我真的不明白你的問題，但我看到你的代碼一個問題：

def parseUserProfile(self, response): 
    item = response.meta['item'] 
    item['image_urls'] = "test3" 
    return item 

個

解析回調返回值應該序列，所以你應該做return [item]或回調轉換爲發電機：

def parseUserProfile(self, response): 
    item = response.meta['item'] 
    item['image_urls'] = "test3" 
    yield item 

Answer 2

看起來你有一個機械故障。相反的：

for site in sites[:5]: 
    item = TestItem() 
    item['username'] = "test5" 
    request = Request("http://www.example.org/profile.php", callback = self.parseUserProfile) 
    request.meta['item'] = item 
    **yield item** 

您需要：

for site in sites[:5]: 
    item = TestItem() 
    item['username'] = "test5" 
    request = Request("http://www.example.org/profile.php", callback = self.parseUserProfile) 
    request.meta['item'] = item 
    yield request