使用scrapy python爬行NodeJs和AngularJs網站

Question

我想使用scrapy python爬取網站，大多數網站都成功完成，但大多數網站都給出了艱難的時間，因爲它們運行在Nodejs和angularjs框架或其他Java框架上，scrapy爬蟲無法從網頁中獲取詳細信息。請在這裏，我需要你的關注。期待您的最早幫助。

在這裏你可以找到最初我使用的試驗基地的代碼。

import scrapy 
from selenium import webdriver 
from scrapy.http import TextResponse 

class QuotesSpider(scrapy.Spider): 
    name = "quotes" 
    start_urls = ['https://en-ae.wadi.com/home_entertainment-televisions/?ref=navigation'] 

    def parse(self, response): 
     self.log('i have just visited the ' + response.url) 
     yield{ 
      'product_name' : response.css('p.description.ng-binding > span::text').extract_first(), 
     } 

在此先感謝。

Answer 1

退房splash：將允許你抓取基於JavaScript的網站。

您也可以創建自己的下載中間件和使用Selenium：How to write customize Downloader Middleware for selenium and Scrapy?

希望這有助於。