我想通過Scrapy刮一個網站。但是，該網站有時非常緩慢，並且在瀏覽器中首次請求時需要花費將近15-20秒的時間。無論如何，有時候，當我嘗試使用Scrapy抓取網站時，我不斷收到TCP超時錯誤。即使網站在我的瀏覽器上打開狀況良好。這裏的消息： 2017-09-05 17:34:41 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retryi
我已經設置了履帶以這種方式： from twisted.internet import reactor
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
def crawler(mood):
process = CrawlerProces
我有scrapy代碼如下所示： def parse(self, response):
for quote in response.css('div.search-item '):
f = quote.css('a.stack::attr(href)').extract_first()
f = response.urljoin(f)
# print(f)