Scrapy處理餅乾/會話/代理

Question

我正在研究一個在驗證時對網站進行爬網的蜘蛛，它使用多個用戶和多個代理。無論如何，我可以處理Cookie，代理和會話，以便每個用戶使用特定的代理服務器使用他們的特定Cookie，因此在爬行時沒有問題？

目前，我可以在通過身份驗證和單一IP的同一個用戶的情況下進行爬網，但希望能夠爲更多用戶執行此操作。

Answer 1

這是可能的，但它需要一些工作。

我能想到的兩種方式來實現：

1. 調整每一個Request和手動Response，這似乎簡單
2. 編寫的中間件，這是比較複雜的，但更普遍的

在這兩種情況下這個信息應該有幫助：

• 使用dont_merge_cookies和CookieJar
• 可以set a proxy每個請求