Twitter - Hadoop數據流

Question

我們如何獲取Twitter（推文）到HDFS進行離線分析。我們有分析推文的要求。

Answer 1

這可以解決您的問題。

• 工具捕捉到Twitter的鳴叫

  • Create PDF, DOC, XML and other docs from Twitter tweets
  • Tweets to CSV files

• 捕獲它的任何格式。 （csv，txt，doc，pdf .....等）

• 把它放到HDFS中。

Answer 2

我會尋找流暢的日誌到hadoop發達地區的解決方案，因爲任務看起來有點類似。
有兩個現有系統這樣做：
水槽：https://github.com/cloudera/flume/wiki
而
抄寫：https://github.com/facebook/scribe

所以，你的任務是隻拉來自Twitter的數據，我asume是不是這個問題的一部分，用這個日誌提供這些系統之一。

Answer 3

Fluentd日誌收集器剛剛發佈了它的WebHDFS插件，它允許用戶立即將數據流傳輸到HDFS。通過使用fluent-plugin-twitter

• Fluentd + Hadoop: Instant Big Data Collection

此外，您還可以收集的Twitter通過調用其API流。當然，您可以創建自定義收集器，將流發佈到Fluentd。以下是一個Ruby日誌示例，可以針對Fluentd發佈日誌。

• Fluentd: Data Import from Ruby Applications