嘗試使用Scrapy從表中提取數據

Question

我在Vista 64位上使用Python.org版本2.7 64位。我有當前的Scrapy代碼，現在工作得很好，現在可以提取文本，但是我對如何從網站上的表格獲取數據感到困惑。我在網上查看了答案，但我仍然不確定。舉個例子，我想獲得此表中包含了魯尼的進球統計數據：

http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney 我目前擁有的代碼是這樣的：

from scrapy.spider import Spider 
from scrapy.selector import Selector 
from scrapy.utils.markup import remove_tags 
from scrapy.cmdline import execute 
import re 


class MySpider(Spider): 
    name = "Goals" 
    allowed_domains = ["whoscored.com"] 
    start_urls = ["http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney"] 

    def parse(self, response): 
     titles = response.selector.xpath("normalize-space(//title)") 
     for titles in titles: 

      body = response.xpath("//p").extract() 
      body2 = "".join(body) 

      print remove_tags(body2).encode('utf-8') 

execute(['scrapy','crawl','goals']) 

什麼語法確實需要在使用xpath（）語句來獲取表格數據？

感謝

Answer 1

我剛纔看到的網頁鏈接，我得到了你想要整個XPath表達式錦標賽的表的所有行：'//table[@id="player-fixture"]//tr[td[@class="tournament"]]'。

我會盡力解釋這個XPath表達式的各個部分：

• //table[@id="player-fixture"]：檢索與id屬性player-fixture整個表，你可以在頁面檢查。
• //tr[td[@class="tournament"]]：用你想要的每個匹配的信息檢索所有行。

也可以使用這個較短的//tr[td[@class="tournament"]] Xpath表達式。但是我認爲使用前面的表達式更加一致，因爲您在該表達式中聲明您希望某個表的id是唯一的（player-fixture）下的所有行（tr）。

一旦你得到所有的行，你可以遍歷它們從每一行條目中獲取你需要的所有信息。

Answer 2

要抓取數據，通常需要識別表格，然後遍歷行。 像這樣的HTML表通常具有以下格式：

<table id="thistable"> 
    <tr> 
    <th>Header1</th> 
    <th>Header2</th> 
    </tr> 
    <tr> 
    <td>data1</td> 
    <td>data2</td> 
    </tr> 
</table> 

這裏有一個如何解析這個固定表的例子：

from scrapy.spider import Spider 
from scrapy.http import Request 
from myproject.items import Fixture 

class GoalSpider(Spider): 
    name = "goal" 
    allowed_domains = ["whoscored.com"] 
    start_urls = (
     'http://www.whoscored.com/', 
     ) 

    def parse(self, response): 
     return Request(
      url="http://www.whoscored.com/Players/3859/Fixtures/Wayne-Rooney", 
      callback=self.parse_fixtures 
     ) 

    def parse_fixtures(self,response): 
     sel = response.selector 
     for tr in sel.css("table#player-fixture>tbody>tr"): 
      item = Fixture() 
      item['tournament'] = tr.xpath('td[@class="tournament"]/span/a/text()').extract() 
      item['date'] = tr.xpath('td[@class="date"]/text()').extract() 
      item['team_home'] = tr.xpath('td[@class="team home "]/a/text()').extract() 
      yield item 

首先，我認同sel.css("table#player-fixture>tbody>tr")和環比數據行結果，然後提取數據。

編輯：items.py（http://doc.scrapy.org/en/latest/topics/items.html）

class Fixture(Item): 
    tournament = Field() 
    date = Field() 
    team_home = Field() 

Answer 3

在首先爲你想，你必須知道什麼是名關聯帶有此標誌的每個符號。例如，對於目標，我看到標題屬性爲「目標」以及標題屬性爲「Assist」元素的<span>元素爲符號助手。

考慮到這些信息，您可以檢查檢索到的每一行，如果它包含與想要檢索的符號關聯的想要的標題名稱的範圍。

要獲得所有目標行的符號使用的表達//span[@title="Goal"爲波紋管，你可以EVAL該行：如果它已檢索的沒有空列表

for row in response.selector.xpath(
      '//table[@id="player-fixture"]//tr[td[@class="tournament"]]'): 
    # Is this row contains goal symbols? 
    list_of_goals = row.xpath('//span[@title="Goal"') 
    if list_of_goals: 
     # Output goals text. 
    . 
    . 
    . 

，這意味着有目標，該行內部的符號。因此，您可以輸出多少目標文本的數量與上面返回的跨度列表的長度一樣多。