Scrapy-Splash退回圖像內容

我正在使用Scrapy-Splash請求獲取頁面的渲染截圖，但我也需要該頁面上的圖像。我使用流水線來下載這些圖像，但我在想 - 這是不是對同一圖像發出兩個請求？一旦Splash呈現頁面，並且一次發送下載請求時。有沒有一種方法可以讓Scrapy-Splash請求返回圖像？Scrapy-Splash退回圖像內容

來源

2017-07-19 Akustik

您可以啓用響應主體（使用respone_body參數或splash.response_body_enabled=True），然後從HAR導出中提取圖像。

來源

2017-07-20 15:43:04

謝謝你，這是有效的。更準確的說，這裏有一些代碼，如果有人看起來這個......你需要添加''response_body'：1，'har'：1'到'splash_args'，這應該會給你在你的JSON或HAR端點。 – Akustik

您是否知道如何獲得每次返回的response_body？目前我第一次訪問某個網站時纔得到它。我認爲這是因爲飛濺緩存？ – Akustik

是的，這是因爲緩存而發生的。目前無法禁用此緩存;可以使用[_gc]（http://splash.readthedocs.io/en/stable/api.html#gc）端點將其清除，但這只是一種解決方法。 –

Scrapy-Splash退回圖像內容

回答

相關問題