Selenium向下滾動Facebook頁面像崩潰

我想向下滾動一個Facebook頁面，該頁面給出了使用硒和python喜歡頁面的人員列表。 url的格式爲https://www.facebook.com/search/page_id/likers，其中page_id是每個Facebook頁面的唯一編號。Selenium向下滾動Facebook頁面像崩潰

我想向下滾動的頁面大約有18k個喜歡，而當我自動化向下滾動過程時，該程序在達到約700-800人時崩潰。

以下是錯誤消息：

Message: unknown error: session deleted because of page crash 
from unknown error: cannot determine loading status 
from tab crashed 
    (Session info: chrome=58.0.3029.110) 
    (Driver info: chromedriver=2.26.436382 (70eb799287ce4c2208441fc057053a5b07ceabac),platform=Linux 4.10.0-32-generic x86_64)

誰能幫我爲什麼發生這種情況？

來源

2017-08-15 Sagun Shrestha

_「我試圖向下滾動Facebook頁面，列出喜歡頁面的人列表「_ - 什麼用於......？如果Facebook希望您以自動方式訪問該數據，他們將通過API公開它。使用任何這樣的自動化是違反他們的ToS。 – CBroe

@CBroe我不是在竊取任何其他數據。我只是想通過自動化手動過程來獲得喜歡我的頁面的人員列表。這是違規嗎？ –

你對那個清單有什麼要求？你不能僅僅因爲他們喜歡你的頁面或類似的東西而聯繫他人。 – CBroe

這需要多長時間？

硒有一個默認的等待時間後，該點會返回一個錯誤，請參閱this post：

如果你打30分鐘的標記，你可以使用增加超時

driver.set_page_load_timeout(long_wait_time)

來源

2017-08-15 14:24:30

感謝您的使用。但是當我嘗試使用html = driver.page_source獲取html時，它又崩潰了。你能告訴我爲什麼嗎？ –

可能是很多東西，你能告訴我這個錯誤嗎？如果我不得不猜測，可能是page_source是巨大的（因爲你已經收集了超過30分鐘的數據），你可能會用完ram –

我得到這個錯誤在行html = driver.page-source' selenium.common.exceptions.WebDriverException：消息：未知錯誤：因爲頁面崩潰而被刪除的會話來自未知錯誤：無法確定加載狀態來自標籤崩潰 ' –

Selenium向下滾動Facebook頁面像崩潰

回答

相關問題