在Python中高效處理Twitter流媒體API數據

Question

我正在使用tweepy lib和python（2.7.3）爲我的項目使用twitter streaming API。 我收到的數據速度非常快。是否有可能減慢速度？我在某處讀到Twitter不喜歡推遲流媒體太久的想法。

我想要做的另一件事是引入數據，讓我們說5分鐘，並且在5分鐘之後應該整理出數據（基於任何事情！例如，話題標籤的字數等）。 但我認爲這會減慢我的流媒體（因爲我正在使用一個進程）。

那麼，你能提出一種處理它的方法嗎？輯陣線程？多處理？

Answer 1

您可以使用多線程方法，將此問題視爲「生產者 - 消費者問題」http://en.wikipedia.org/wiki/Producer-consumer_problem其中生產者將在5分鐘內填充緩衝區的主線程，然後另一個線程將消耗緩衝區（處理它某種程度上來說）。