如何在JavaScript提出多個請求時在Scrapy + Splash中設置Cookie？

Question

當javascript被加載時，它會在響應中設置cookie的另一個ajax請求。但是，Splash不會跨多個請求保留任何Cookie，是否有辦法在所有請求中保留Cookie？或者甚至在每個請求之間手動分配它們。

Answer 1

是的，有在scrapy-splash自述的例子 - 見Session Handling部分。總之，首先，確保所有設置都是正確的。然後使用SplashRequest(url, endpoint='execute', args={'lua_source': script})發送scrapy請求。渲染腳本應該是這樣的：

function main(splash) 
    splash:init_cookies(splash.args.cookies) 

    -- ... your script 

    return { 
     cookies = splash:get_cookies(), 
     -- ... other results, e.g. html 
    } 
end 

也有與cookie處理，報頭處理等在scrapy飛濺README一個完整的例子 - 見最後一個例子here。