Django的動態刮range_funct分頁

Question

我在我的應用程序一個使用django-dynamic-scraper，我已經通過docs消失了，下面是我的設置：

我使用的對象類的網址是：http://www.example.com/products/brandname_products.html

分頁上該網站是類似於以下內容。

頁面1：http://www.example.com/products/brandname_products.html 第2頁：http://www.example.com/products/brandname_products2.html 第3頁：http://www.example.com/products/brandname_products3.html 第4頁：http://www.example.com/products/brandname_products4.html

在上述URL中brandname是動態的，並且取決於一個品牌的產品頁面上。我不能爲每個品牌設置不同的刮板，因爲有10000多個品牌，所以我正嘗試使用一個刮板對象。

在我使用我已經定義了分頁選項如下刮板對象：

pagination_type：RANGE_FUNCT
pagination_append_str：_products{page}.html
pagination_page_replace：1,100,2

但刮板需要以下分頁網址

http://www.example.com/products/brandname_products.html_products2.html http://www.example.com/products/brandname_products.html_products3.html http://www.example.com/products/brandname_products.html_products4.html

代替

http://www.example.com/products/brandname_products2.html http://www.example.com/products/brandname_products3.html http://www.example.com/products/brandname_products4.html

問：爲什麼將其追加替換字符串的URL的末尾，而不是實際的對象類的網址與_products.html代替它？我做錯了什麼，我該如何解決這個問題。

Answer 1

pagination_append_str選項被調用是這樣的，因爲字符串是追加到到基地的網址，並沒有取代它！ :-)

因此，一切都是正確的，你只需要從你的基地網址中刪除_products_html，這樣最終的網址是一起構建的，不會使url部分翻倍。