Web刮Facebook「在線好友列表」

Question

我是新來的網頁抓取，到目前爲止我所做的一切都是一些基本的python抓取。我真正想要的是讓所有我在Facebook上的在線朋友被刮掉，只是想看看如何動態地改變某些東西。所以請告訴我是否有可能，從哪裏開始等。謝謝！

Answer 1

抓取動態內容背後的基本思想是帶有內容的頁面將在後臺向某個資源發出請求。你需要找出這些請求是什麼，然後複製它們，並解析響應。通常，解析端比正常的抓取更容易，因爲響應將採用更加結構化的格式，比如JSON而不是HTML。找到被調用資源的簡單方法是使用瀏覽器中的開發人員工具。在Chrome中，點擊F12並在Facebook上查看「XHR」標籤。您應該會看到定期請求https://www.facebook.com/ajax/chat/buddy_list.php。查看發佈的數據以及回覆的內容。您將不得不模仿這些請求（包括髮送顯示您已登錄的有效cookie），然後解析響應。