使用「下一步」按鈕進行網頁搜刮Python

Question

我得到網頁的評論，並且需要掃描每一頁，直到不再有任何評論爲止。評論頁面有多個頁面，我的第一個想法是使用While循環，但是，我不確定從哪裏開始。網頁的HTML代碼看起來與此類似。

上一頁的HTML代碼;

任何幫助表示讚賞。

Answer 1

嘗試點擊Next，同時可以發現：到目前爲止

from selenium import webdriver 
from selenium.common.exceptions import NoSuchElementException 

driver = webdriver.Firefox() 
driver.get("http://www.some_site.com") 
while True: 
    # do whatever you want 
    try: 
     driver.find_element_by_xpath('//a/span[text()="Next"]').click() 
    except NoSuchElementException: 
     break