點擊「R更多」按鈕在mouthshut.com評論使用python

Question

我想通過http://www.mouthshut.com/mobile-operators/Reliance-Jio-reviews-925812061頁面滾動。我需要點擊評論部分的「閱讀更多」按鈕，但是我無法在python中使用美麗的湯來找到它。

Answer 1

BeautifulSoup可以解析html，但無法單擊鏈接。 Selenium可以點擊鏈接。

from time import sleep 

from selenium import webdriver 

url = 'http://www.mouthshut.com/mobile-operators/Reliance-Jio-reviews-925812061-page-{}'.format 
driver = webdriver.Chrome() 
driver.get(url(1)) 
for elem in driver.find_elements_by_link_text('Read More'): 
    elem.click() 
    sleep(0.5) 

with open('page_source.html', 'w') as f: 
    f.write(driver.page_source) 
driver.close() 

後您從每個頁面保存HTML源代碼，就可以使用BeautifulSoup通過它，無論您想提取解析。

---

編輯：單擊每個鏈接後，添加在sleep(0.5)似乎擺脫地方並沒有被點擊了一些「更多」鏈接錯誤。