這兩個中間件都可以處理請求和響應。但有什麼區別?Scrapy的蜘蛛中間件和下載中間件有什麼區別?
8
A
回答
10
雖然它們具有幾乎相同的接口,它們用於不同的目的:
下載中間件修改請求和響應或響應於響應請求。他們不直接與蜘蛛互動。一些示例是實現cookie,緩存,代理,重定向,設置用戶代理標題等的中間件。它們只是向下載器系統添加功能。
蜘蛛中間件修改傳入和傳出蜘蛛的東西,如請求,項目,異常和
start_requests
。他們確實與下載中間件共享一些基本功能,但他們無法響應迴應而生成請求。它們站在蜘蛛和下載者之間。一個例子是用錯誤的HTTP狀態代碼過濾掉響應。
一些中間件可以作爲一個下載的中間件或蜘蛛中間件的功能,但他們往往微不足道,將被強制爲一類或其它一旦你添加更復雜的功能。
+0
感謝您的幫助我很多的解決方案。您可以在這裏詳細說明DOWNLOADER_MIDDLEWARES的作用。@ Blender –
相關問題
- 1. scrapy:蜘蛛中的小蜘蛛?
- 2. 診斷爲什麼我的scrapy蜘蛛沒有下載圖像
- 3. 如何將自定義蜘蛛/下載中間件添加到scrapy
- 4. Scrapy與Scrapy蜘蛛
- 5. scrapy中的連環蜘蛛
- 6. Scrapy DOMAIN_NAME的蜘蛛
- 7. Python的scrapy蜘蛛
- 8. scrapy蜘蛛沒有發現
- 9. Scrapy CrawlSpider沒有蜘蛛
- 10. (Python,Scrapy)將txt文件中的數據轉換爲Scrapy蜘蛛
- 11. ARM Cortex中的事件和中斷之間有什麼區別?
- 12. Scrapy蜘蛛Xpath的選擇
- 13. 爲什麼scrapy-插件/ scrapy-jsonrpc不能得到蜘蛛的統計
- 14. 訪問scrapy蜘蛛中的會話cookie
- 15. scrapy蜘蛛中的分裂變量
- 16. Web蜘蛛與Wget的蜘蛛有什麼不同?
- 17. 爲什麼我的scrapy蜘蛛沒有刮掉任何東西?
- 18. robots.txt的蜘蛛間隔
- 19. Scrapy蜘蛛沒有下面的鏈接和錯誤
- 20. ASP.NET MVC中的ASP.NET控件和Html.helpers之間有什麼區別?
- 21. scrapy蜘蛛碼校驗
- 22. Scrapy蜘蛛不工作
- 23. Scrapy - 運行蜘蛛多次
- 24. Scrapy雅虎集團蜘蛛
- 25. Scrapy找不到蜘蛛
- 26. Scrapy蜘蛛過早關閉
- 27. Scrapy蜘蛛登錄問題
- 28. Scrapy管理動態蜘蛛
- 29. Scrapy蜘蛛錯誤處理
- 30. Scrapy蜘蛛不爬行
@MitchWheat:它可能看起來微不足道,但這是一個很好的問題。 – Blender
似乎沒有任何編程內容:看起來像一個搜索引擎的問題。 –
@MitchWheat:兩者之間的區別並不明顯,在文檔中沒有解釋。如果你不理解所涉及的框架,投下贊成票和密切投票並不是真的有用。 – Blender