使用Selenium進行滾動不起作用

Question

我需要推文的所有回覆/評論。相關的question有一個答案，它需要下載太多的數據，然後在交叉匹配後丟棄它們，由於速率限制，我不可能這樣做。 我試圖通過首先使用python加載鳴叫url來刮掉頁面。要滾動頁面，我嘗試使用硒web驅動程序。但我在第一頁仍然只收到回覆。出於某種原因，滾動不起作用。我試過這些1,2,3,4的方法，但沒有在這種情況下工作。

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
import time 

driver = webdriver.Firefox() 
driver.get("https://twitter.com/neiltyson/status/912299342559694848") 

for in xrange(10): 
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 
    print('height:{}'.format(driver.execute_script("return document.body.scrollHeight"))) 
    time.sleep(3) 

我注意到，該高度一次迭代後不會改變。

Answer 1

我現在有Python3正在運行，所以我將xrange更改爲範圍來測試它。

試試這個（我的作品）：

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
import time 

driver = webdriver.Firefox() 
driver.get("https://twitter.com/neiltyson/status/912299342559694848") 

page = driver.find_element_by_tag_name('body') 

for i in range(10): 
    page.send_keys(Keys.PAGE_DOWN) 
    time.sleep(3)