在Scrapy中使用子nth

我想使用Python工具Scrapy提取一些html。在Scrapy中使用子nth

我的選擇如下：

#navigation > nav > div.js-accordion-menu-wrapper > ul li:nth-child(n+5):nth-child(-n+10) > a::attr(href)

出於某種原因，這是行不通的。具體來說，似乎'nth-child（-n + x）不起作用。就像也許Scrapy不使用它或允許它。

任何人都可以證實這一點嗎？

來源

2016-11-17 mjabraham

什麼版本cssselect'的'你已經安裝了？（這是Scrapy中用於將CSS選擇器轉換爲XPath表達式的包）。 [版本1.0.0]（https://pythonhosted.org/cssselect/#version-1-0-0）對'：nth-child（an + b）'有一個負數a的修正。另外，您是否可以提供帶有預期數據的示例HTML，您需要使用CSS進行抓取？ –

Scrapy 1.2.1與cssselect 1.0.0似乎按預期工作。

下面是一個示例scrapy shell會話：

In [1]: selector = scrapy.Selector(text="""<ul> 
    ...:  <li>1</li> 
    ...:  <li>2</li> 
    ...:  <li>3</li> 
    ...:  <li>4</li> 
    ...:  <li>5</li> 
    ...:  <li>6</li> 
    ...:  <li>7</li> 
    ...:  <li>8</li> 
    ...:  <li>9</li> 
    ...:  <li>10</li> 
    ...:  <li>11</li> 
    ...:  <li>12</li> 
    ...: </ul>""") 

In [2]: selector.css('ul li:nth-child(n+5)').extract() 
Out[2]: 
['<li>5</li>', 
'<li>6</li>', 
'<li>7</li>', 
'<li>8</li>', 
'<li>9</li>', 
'<li>10</li>', 
'<li>11</li>', 
'<li>12</li>'] 

In [3]: selector.css('ul li:nth-child(n+5):nth-child(-n+10)').extract() 
Out[3]: 
['<li>5</li>', 
'<li>6</li>', 
'<li>7</li>', 
'<li>8</li>', 
'<li>9</li>', 
'<li>10</li>']

我使用：

$ scrapy version -v 
Scrapy : 1.2.1 
lxml  : 3.6.4.0 
libxml2 : 2.9.4 
Twisted : 16.5.0 
Python : 3.5.0+ (default, Oct 11 2015, 09:05:38) - [GCC 5.2.1 20151010] 
pyOpenSSL : 16.2.0 (OpenSSL 1.0.2g 1 Mar 2016) 
Platform : Linux-4.4.0-47-generic-x86_64-with-Ubuntu-16.04-xenial 

$ pip freeze | grep cssselect 
cssselect==1.0.0

來源

2016-11-17 22:44:16

謝謝，你是對的，這是一個版本問題 – mjabraham

在Scrapy中使用子nth

回答

相關問題