6
我想抓取這個網站: http://www.aido.com/eshop/cl_2-c_189-p_185/stationery/pens.html分頁使用scrapy
我可以得到所有的產品在這個頁面,但我怎麼發出在頁面底部的「查看更多」鏈接請求?
我的代碼到目前爲止是:
rules = (
Rule(SgmlLinkExtractor(restrict_xpaths='//li[@class="normalLeft"]/div/a',unique=True)),
Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="topParentChilds"]/div/div[@class="clm2"]/a',unique=True)),
Rule(SgmlLinkExtractor(restrict_xpaths='//p[@class="proHead"]/a',unique=True)),
Rule(SgmlLinkExtractor(allow=('http://[^/]+/[^/]+/[^/]+/[^/]+$',), deny=('/about-us/about-us/contact-us', './music.html', ) ,unique=True),callback='parse_item'),
)
任何幫助嗎?
這很有幫助,但如何「實例化scrapy的請求對象」的例子會更有幫助。 – SMPLGRP 2013-10-18 20:04:22