scrapy同一網址不同的來源內容

Question

我在以下網站上使用scrapy以獲得足球比賽URL。 http://www.spox.com/de/daten/?sport=soccer&page=season&id=9643&view=matches

到目前爲止，所有顯示的25個匹配的網址都很好，但有一個「後退」（「Zurück」）按鈕可顯示更多匹配，但它使用相同的URL。那麼，我該如何告訴scrapy按下該按鈕並採取匹配網址？

Answer 1

當按下後退按鈕時，瀏覽器產生XMLHttpRequest。我建議啓動瀏覽器的控制檯，並在按下後退按鈕後檢查網絡流量。你會看到頁面獲取數據的網址。使用該網址進一步刮擦。