1
每次我使用response.xpath時,Scrapy是否會ping網站?或者每個請求是否有一個響應值存儲在內存中,並且所有後續的xpath查詢都在本地運行?優化Scrapy xpath查詢
每次我使用response.xpath時,Scrapy是否會ping網站?或者每個請求是否有一個響應值存儲在內存中,並且所有後續的xpath查詢都在本地運行?優化Scrapy xpath查詢
響應存儲在內存中。也就是說,每次你調用response.xpath時,它都不會在網頁上遇到問題,而是記憶。
謝謝!我想這意味着將響應分配給本地變量並驅動xpath查詢,這不會從服務器的角度或本地內存中真正提高scraper的效率...... –
是的。注意:你可以直接調用'response.xpath'而不用分配給局部變量 –
謝謝Andres!這完全回答了我的問題。 –