我在我的應用程序一個使用django-dynamic-scraper
,我已經通過docs消失了,下面是我的設置:Django的動態刮range_funct分頁
我使用的對象類的網址是:http://www.example.com/products/brandname_products.html
分頁上該網站是類似於以下內容。
頁面1:http://www.example.com/products/brandname_products.html
第2頁:http://www.example.com/products/brandname_products2.html
第3頁:http://www.example.com/products/brandname_products3.html
第4頁:http://www.example.com/products/brandname_products4.html
在上述URL中brandname
是動態的,並且取決於一個品牌的產品頁面上。我不能爲每個品牌設置不同的刮板,因爲有10000多個品牌,所以我正嘗試使用一個刮板對象。
在我使用我已經定義了分頁選項如下刮板對象:
pagination_type
:RANGE_FUNCT
pagination_append_str
:_products{page}.html
pagination_page_replace
:1,100,2
但刮板需要以下分頁網址
http://www.example.com/products/brandname_products.html_products2.html
http://www.example.com/products/brandname_products.html_products3.html
http://www.example.com/products/brandname_products.html_products4.html
代替
http://www.example.com/products/brandname_products2.html
http://www.example.com/products/brandname_products3.html
http://www.example.com/products/brandname_products4.html
問:爲什麼將其追加替換字符串的URL的末尾,而不是實際的對象類的網址與_products.html
代替它?我做錯了什麼,我該如何解決這個問題。
謝謝,是的,那天算起來 – Amyth
@Amyth那麼接受他的回答會不合適嗎? –