2017-09-03 54 views
1

每次我使用response.xpath時,Scrapy是否會ping網站?或者每個請求是否有一個響應值存儲在內存中,並且所有後續的xpath查詢都在本地運行?優化Scrapy xpath查詢

回答

0

響應存儲在內存中。也就是說,每次你調用response.xpath時,它都不會在網頁上遇到問題,而是記憶。

+0

謝謝!我想這意味着將響應分配給本地變量並驅動xpath查詢,這不會從服務器的角度或本地內存中真正提高scraper的效率...... –

+0

是的。注意:你可以直接調用'response.xpath'而不用分配給局部變量 –

+0

謝謝Andres!這完全回答了我的問題。 –