使用Python實時處理數據

Question

我正在研究一個項目，它將使用來自Twitter Stream API的數據並計算特定的主題標籤。但是我在理解我需要的是什麼樣的架構時遇到困難。我應該使用Tornado還是有更適合的框架？

Answer 1

這實際上取決於你想用Tweets做什麼。簡單閱讀推文流並不是我見過的問題。實際上，這可以在AWS Micro Instance上完成。我甚至在實時Feed上運行更高級的迴歸算法。如果您嘗試處理一組歷史推文，則會出現可伸縮性問題。由於推文生成速度如此之快，因此處理歷史推文可能會非常緩慢。那時你應該嘗試並行化。