2017-05-06 57 views
0

我對通常的抓取工具和網絡陌生,所以這可能是一個無知的問題。我正在嘗試爲每個scrapy請求附加一個標識符,以便我可以識別每個響應。將標識符附加到Scrapy請求?

作爲一個例子。假設我從我存儲在我的數據庫中的產品中提取數據,並且想要將這些數據存儲在與特定產品相關的數據庫中。有沒有辦法將標識符附加到請求中,以便在響應返回時我知道它指的是什麼產品,以便我可以更新數據庫中正確的產品?

基於抓取的數據,我確信我可以在頁面上找到標識符,但是如果我可以在每個請求中傳遞一個標識符,它會更容易,更不容易出錯。

任何幫助,將不勝感激。

感謝

回答

0

閱讀文檔進一步之後,我相信我找到了答案here。我想我可以使用Requests [meta]屬性將其他信息傳遞給回調函數。我並不完全確定這個例子是如何工作的,但這是迄今爲止我發現的最佳人選。