如何通過無限滾動頁面（例如：Wallbase.cc/search/sky）與Python解析？

Question

不確定是否有任何與Mechanize或BeautifulSoup可以幫助。任何建議將不勝感激！

Answer 1

機械化和美麗的湯不能與用於無限滾動的JavaScript接口。

硒可以。

此外，如果你是當您使用無限滾動你會看到POST請求http://wallbase.cc/search/160與該請求數據，以查看所述AJAX請求：

query:sky 
board:123 
res_opt:eqeq 
res:0x0 
aspect:0 
nsfw_sfw:1 
nsfw_sketchy:0 
nsfw_nsfw:0 
thpp:32 
orderby:relevance 
orderby_opt:desc 

160對應於圖像範圍，從而收到了請求是wallbase.cc/searc/128。