Python - 使用Comet和HTTP流式網頁抓取頁面

Question

我必須從fxstreet中抽取數據 我使用螢火蟲解壓縮HTML代碼，並且網頁似乎正在使用Comet和HTTP流式傳輸。

我想用數據每秒鐘填寫一本字典，而不必刷新頁面。我用urllib.urlopen做了它，但我不得不每秒都做一次查詢。

有人知道一個合適的方式來從彗星& http流中提取數據嗎？ 感謝

Answer 1

您可能需要使用gevent,Tornado或Twisted編寫異步HTTP客戶端來使用您的服務。一直以來都有與Twitter的流API，你可能會尋找靈感的工作內置了不少項目：

• https://github.com/fiorix/twisted-twitter-stream - twisted
• https://github.com/dustin/twitty-twister - twisted
• https://github.com/atl/twitstream - asyncore，pycurl或tornado
• https://github.com/godavemon/TwitTornado - tornado
• https://github.com/thruflo/close.consumer - gevent

Answer 2

我不是這方面的專家，但我知道的是，彗星工作的方式，響應要求，只有當時間接近漲停或有服務器上的一些變化。因此，您可以製作Comet請求，假設沒有任何變化，除非Comet請求返回。

因此，基本上，您可以使Comet請求和將由Comet請求返回的數據存儲在表中。通過另一個請求（可以每秒發送一次），檢查表中新增加的數據，如果找到則返回。

這是你所期望的嗎？

Answer 3

只需在相同的時刻再次實例化數據並實例化查詢，而不是在1秒內完成 - Comet只是意味着服務器在新數據可用之前不會響應。