我在抓這個網站：https://www.olx.com.ar/celulares-telefonos-cat-831與Scrapy 1.4.0。當我運行蜘蛛時，一切都很順利，直到進入「下一頁」部分。下面的代碼： # -*- coding: utf-8 -*-
import scrapy
#import time
class OlxarSpider(scrapy.Spider):
name
所以我試圖刮掉從新聞網站，具有無限的渦旋式佈局的文章所以下面會發生什麼： example.com有文章第一頁 example.com/page/2/有第二頁 example.com/page/3/有第三頁 依此類推。當您向下滾動時，網址會發生變化。爲了說明這一點，我想湊第一x許多文章和做了以下內容： start_urls = ['http://example.com/']
for x in ra
我有一個用Scrapy編寫的項目。這個蜘蛛在setup.py中有很多要求。這是一個簡單的示例。我跑 scrapyd-deploy
，並具有以下輸出 Packing version 1506254163
Deploying to project "quotesbot" in http://localhost:6800/addversion.json
Server response (200)
我的域的列表上運行Scrapy，很多頁面都收到此錯誤： Couldn't bind: 24: Too many open files. 我沒有得到這錯誤在我的Linux機器上，但我現在正在我的Mac上得到它。我不確定這是否與在Sierra上運行有關，或者我是否忽略了Scrapy配置。我檢查了ulimit，它返回unlimited，所以我不認爲認爲是這樣的。 在情況下，它是我的蜘蛛做的，這裏要說的是
我想要抓取township directory of China。該網站分爲4個層次，分別爲省頁面，城市頁面，縣頁面和鄉鎮頁面。例如，在省份頁面上列出了所有省份。如果我們點擊一個省份的鏈接，那麼它會將我們帶到城市頁面，並顯示該省的城市列表。 我希望我的每件物品都是鄉鎮。它包括town_name，town_id（gbcode）和相應的縣名，city_name，prov_name。所以當蜘蛛進入鄉