Twitter搜索API和Hadoop

Question

我需要使用Twitter搜索API並將twitter數據導入到我的HDFS中。 Search API使用REST調用，我想了解如何使用Apache Flume。我已經要求授權使用Twitter的API，但我不明白如何使用flume實現Search API。需要幫忙！謝謝！

Answer 1

1. 創建Twitter的開發者帳戶，並生成自己的密鑰。
2. 將一個flume-source-1.0-SNAPSHOT.jar文件添加到lib文件夾中。
3. 使用密鑰創建一個flume配置文件，從Twitter獲取推文並將其存儲到hdfs中。
4. 你開始使用水槽下面的命令

命令：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

欲瞭解更多詳情，請參閱以下鏈接：

http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html

Answer 2

首先，你需要創建Twitter應用。轉到 https://apps.twitter.com/並創建應用程序，然後記住生成的四個密鑰 - 消費者密鑰，消費者密鑰，訪問令牌和訪問令牌密鑰。

下載apache-flume-1.x.0-bin.tar.gz。在這裏，X表示最新version.After解壓文件中添加以下命令到~/.bashrc文件：

export FLUME_HOME=location of untar flume file 
export PATH=$PATH:$FLUME_HOME/bin 

保存上述文件運行source ~/.bashrc在terminal.After此遵循以下網站命令後：

https://acadgild.com/blog/streaming-twitter-data-using-flume/