使用scrapy獲取鏈接列表的內容長度

Question

正如標題所示，我很想知道scrapy是否可用於處理url列表（url存儲在mysql數據庫中）。 我需要爲每個URL唯一的東西是返回的數據的內容長度。 有人從事類似的項目？

由於

Answer 1

在回調得到Request與method='head'。在response對象的下一個回調提取標題HTTP_CONTENT_LENGTH中。