是否有抓取所有Facebook粉絲頁面的方法？

有沒有辦法抓取所有Facebook粉絲頁面並收集一些信息？比如抓取Facebook粉絲頁面並保存他們的名字，或者有多少粉絲等等？或者至少，你有沒有提示如何做到這一點？是否有抓取所有Facebook粉絲頁面的方法？

2010-04-02 user220755

在那裏，做到了（嗯，不是我，但你明白了）。在抓取Facebook之前，您可能需要考慮法律問題：http://slashdot.org/story/10/03/31/1430256/Facebook-Kills-Dataset-of-Crawled-Public-Profiles – 2010-04-02 06:08:05

首先選擇包含網頁所需種類的頁面：

例如：http://www.facebook.com/pages/或http://www.facebook.com/pages/?browse&ps=93

然後用履帶式來獲取所有頁面的鏈接。

現在，您可以使用提取的鏈接分別解析每個頁面。

您可以使用simple html dom進行抓取。

來源

2010-04-02 05:57:02 NAVEED

寫一個履帶式的。

我用可口可樂的網頁作爲一個實驗：http://www.facebook.com/cocacola?v=wall
解析出「粉絲」的div，其中包含一個「所有球迷的」鏈接。在Web瀏覽器查看源代碼，它看起來像這樣： /social_graph.php?node_id=40796308305 &類= FanManager
把它轉換成一個網站的網址和抓取： http://www.facebook.com/social_graph.php?node_id=40796308305&class=FanManager
解析出粉絲，然後解析出「下一頁」鏈接。
重複，廣告噁心。
調整您的請求，讓facebook不會將您列入黑名單。

來源

2010-04-02 05:55:08 Stephen

RE：Stephen：你能否詳細解釋一下你的回答？我不是最流利的程序員，但希望能夠將鏈接導出到樂隊所有粉絲的配置文件中，並將其導入到csv文件中。你能否解釋一下你如何解析「粉絲」分隔線並查看它的來源？另外 - 你如何解析出粉絲，然後解析出下一頁的鏈接？ – nicktendo 2010-06-22 18:22:23

下載並運行websphinx jar。輸入http://www.facebook.com/pages/以啓動網址並選擇子樹作爲抓取。不要忘記增加頁面大小和頁面超時值。線程的數量越多（100-200）越有可能成功爬取更多頁面。

來源

2012-03-17 12:18:22

http://www.facebook.com/pages/列出'建議頁面'，'喜歡的頁面'。我沒有看到獲得其他頁面鏈接的方法。一種方法是抓取朋友喜歡的頁面。有什麼建議麼？ – ankshah 2016-05-02 17:21:17

是否有抓取所有Facebook粉絲頁面的方法？

回答

相關問題