無法使用Flume獲取Twitter數據

我正在使用Fluo在hadoop中獲取twitter數據。它工作良好的連接建立，註冊但最後它一直給出無效URI或用戶消息不存在..任何人都可以幫助我這個。預先感謝您。無法使用Flume獲取Twitter數據

我正在使用以下conf。

TwitterAgent.sources= Twitter 
TwitterAgent.channels= MemChannel 
TwitterAgent.sinks=HDFS 
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource 
TwitterAgent.sources.Twitter.channels=MemChannel 
TwitterAgent.sources.Twitter.consumerKey=E9tsA378a5d1WfkKt1N9T9SkD 
TwitterAgent.sources.Twitter.consumerSecret=TK0gZLlppIWQJfCSjlzt0A7tLBLNygaqhdtLYwwvPxLs8BMhB9 
TwitterAgent.sources.Twitter.accessToken=833216676678217729-OGo6WnKqAG58xUpCGpDr7MNksq3jr2Q 
TwitterAgent.sources.Twitter.accessTokenSecret=5hc1AUyJpatiO8tFLsIZHXlSjfLzf3L8ORbYul8DmNZdo 
TwitterAgent.sources.Twitter.keywords= hadoop,election,sports, cricket,Big data, TwitterAgent.sinks.HDFS.channel=MemChannel 
TwitterAgent.sinks.HDFS.type=hdfs 
TwitterAgent.sinks.HDFS.hdfs.path=hdfs://192.168.56.101:9000/flumedata/ 
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000 
TwitterAgent.sinks.HDFS.hdfs.rollSize=0 
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000 
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600 
TwitterAgent.channels.MemChannel.type=memory 
TwitterAgent.channels.MemChannel.capacity=10000 
TwitterAgent.channels.MemChannel.transactionCapacity=100

這是我用來運行水槽。 ./bin/flume-ng劑-n TwitterAgent -f /opt/apache-flume-1.4.0-bin/conf/flume.conf

來源

2017-02-19 Shivani Tyagi

水槽版本1.4.0。請查看上面的conf文件 –

17/02/20 07:19:19信息twitter4j.TwitterStreamImpl：404：請求的URI無效或請求的資源（如用戶）不存在。未知的URL。請參閱http://dev.twitter.com/pages/streaming_api上的Twitter Streaming API文檔，這是錯誤 –

試試這個

TwitterAgent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/users/flume/tweets/

而不是IP地址使用「本地主機」

這對我有效。

來源

2017-08-14 14:37:41

無法使用Flume獲取Twitter數據

回答

相關問題