關於刮twitter數據

-1

如何從twitter中提取一個人的追隨者？例如，如果我想提取特朗普的追隨者名單，如何使用BeautifulSoup做到這一點？關於刮twitter數據

我試圖在twitter中提取Finn Balor的追隨者列表。我使用了url並將BeeautifulSoup對象應用於它。但它沒有給出文檔中我在「查看頁面源代碼」中看到的內容。如何解決這個問題？

import requests 
from bs4 import BeautifulSoup 
r=requests.get("https://twitter.com/FinnBalor/followers") 
c=r.content 
soup=BeautifulSoup(c,"html.parser") 
soup.find_all("div",{"class":"ProfileCard-content"})

這是我使用的代碼。

來源

2017-10-10 Akhil Reddy

請提供[最小，完整且可驗證的示例]（https://stackoverflow.com/help/mcve） – bhansa

您能否提供一些代碼？ – kvorobiev

我已經添加了我使用的代碼。編碼的最後一行不起作用。 –

Twitter提供REST APIs您可以使用它們與其服務進行交互。

還有一堆基於Python的客戶端，我們可以在不重新發明輪子的情況下使用它們。我想要的是Tweepy。 Tweepy有一個很好的文檔，你可以按照獲取twitter數據。

來源

2017-10-10 06:15:05 amrit

我們不能使用BeautifulSoup爲此進行刮擦嗎？ –

是的，你可以但如果有提供休息API，那麼你爲什麼要使用scraping？而且如果你想你可以做到這一點，但你需要驗證自己從twitter獲取數據.....並且可以完成身份驗證通過Scrapy框架，或者您可以使用Selenium with BeautifulSoup。 – amrit

很好。我現在明白了，非常感謝你 –

關於刮twitter數據

回答

相關問題