scrapy javascript pagination href =＃

Question

我正在使用scrapy &飛濺來從啓用javascript的銀行頁面抓取促銷優惠。

https://www.dbs.com.sg/personal/product-promotion-list.page?pct=Cards#

我現在面臨的問題是在它的分頁使用JavaScript做因此鏈接的格式爲：

<a href="#">1</a> 
<a href="#">2</a> 
<a href="#">3</a> 

的HREF鏈接都被隱藏在＃內。

正如我進一步挖掘，HTML代碼中的分頁功能是：

<script type="text/javascript"> 

    $(document).ready(function(){ 
    productList(); 
    }); 
    $('.pagination').on("click","a",checkClass); 
    $('#filterSearch').on("click",searchTextChange); 
    $('form').submit(function(e){ 
     e.preventDefault(); 
    }); 
    $("#Search").keyup(function(event){ 
     if(event.keyCode == 13){ 
      $("#filterSearch").click(); 
     } 
    }); 

</script> 

誰能幫助我？任何幫助表示讚賞！謝謝。

Answer 1

通過點擊使用POST每個尋呼（1，2或3），下面的URL從服務器請求：

https://www.dbs.com.sg/personal/product-promotion-list-child.page 

具有以下發布形式的數據：

promotype=&start=1&pageNum=1&search=&type=promotion&pct=Cards（頁面1 ） promotype=&start=2&pageNum=1&search=&type=promotion&pct=Cards（第2頁） promotype=&start=3&pageNum=1&search=&type=promotion&pct=Cards（第3頁）

如果你打這個URL直接傳遞正確的頁碼？此請求會返回HTML，並顯示您想要的促銷列表。