scrapy：找到具有特定文本的元素

Question

我正在使用scrapy來抓取。我正在獲取網站的全部內容。

import scrapy 
import os 

class QuotesSpider(scrapy.Spider): 
    name = "team" 

    def start_requests(self): 
     yield scrapy.Request(url='http://*****.com', callback=self.get_scripts) 

    def get_scripts(self, response): 
     print response.css("body").extract() 

    def get_scripts(self, response): 
     print response.css("body").extract() 

現在我正在尋找一個文本，我可以通過python獲得簡單的搜索文本/子字符串。我想要的是在該文本匹配的地方選擇該選擇器。請讓我們知道什麼是最好的方式來做到這一點。

Answer 1

你可以做這樣的事情。

import logging 
logging.info(response.xpath("//*[contains(text(), 'MY TEXT')]")) 

這將打印出帶有刮取值和選擇器的整個對象。