使用Python解析多個網頁

Question

我想解析多個網頁以提取特定的文本和圖像。到目前爲止，我已經能夠解析一個頁面，但我正在尋找一種方法在以下鏈接的所有頁面上運行腳本：http://www.bbc.co.uk/food/recipes/search?cuisines[]=british（其中有108個）。

我基本上需要圖像，以及旁邊的文字。

Answer 1

我把的方式太多的努力在這之前，我意識到你只是需要一個for循環。

這裏有一個網址到同一個頁面，只是這次與頁碼作爲參數：

http://www.bbc.co.uk/food/recipes/search?page=1&cuisines[0]=british&sortBy=lastModified 

更改頁碼，你就可以讓他們的所有108。

for i in range(1,109): 
    url = "http://www.bbc.co.uk/food/recipes/search?page={pagenum}&cuisines[0]=british&sortBy=lastModified".format(pagenum = i) 
    doYourThing(url)