flume

0熱度

1回答

Flume-Hdfs sink輸出目錄權限

是否可以在Flume中指定hdfs接收器的輸出direcory權限？

0熱度

1回答

無法加載Twitter的源數據到水槽

我收到以下錯誤，同時運行import twitter源數據 could not find or load main class flume.node.Application error 誰能幫我解決這個問題？

0熱度

1回答

邊緣或工作節點上的水槽？

對於數據攝取，我想用水槽，要麼把它的邊緣節點（在安全的DMZ羣集外部）或在工作節點中的一個。在哪裏可以找到最佳做法嗎？每種方法的優缺點是什麼？

0熱度

1回答

使用Flume在HDFS中獲取Twitter數據時發生的問題

我正在嘗試獲取HDFS中的Twitter數據，但是出現問題。這裏是我的flume.conf文件 TwitterAgent.sources= Twitter TwitterAgent.channels= MemChannel TwitterAgent.sinks=HDFS TwitterAgent.sources.TwitterSource.type=org.apache.flume.sou

0熱度

1回答

在Apache Flume JMS 1.6.0中配置SSL

我正在嘗試在Apache Flume JMS1.6.0中配置SSL。作爲Apache Flume的一部分，JMS Source本質上不支持SSL。任何人都可以通過在Apache Flume JMS1.6.0中啓用SSL來實現。有沒有任何選項可以編寫自定義代碼來爲JMS啓用SSL來源

0熱度

1回答

Spark Streaming Flume Integration

嘗試了很多更改後，我仍然遇到將Flume自定義接收器和Spark Stream綁定到同一端口的問題。我使用Flume 1.6.0和Spark 2.0.0。使用Spark + flume集成指南我構建了.conf文件和spark .py文件。我首先啓動了flume agent，但是當我嘗試在同一個端口上使用Spark-streaming（讀取）時，它表示無法綁定。我嘗試了多個端口，並且根據我的知識

1熱度

1回答

合流和卡桑德拉：獲取DataException：無法將數據反序列化Avro的，未知的魔法字節

我跟着教程從http://www.confluent.io/blog/kafka-connect-cassandra-sink-the-perfect-match/，我能夠從Avro的控制檯數據插入到卡桑德拉。現在我想擴大這種使用水槽和我有水槽在我的機器設置，這將挑選日誌文件，並把它推到卡夫卡，想我的數據插入到數據庫卡桑德拉。在一個文本文件中，我把數據 {「id」：1，「created」：「2

0熱度

1回答

添加頭HTTP帖子內容水槽

我測試了水槽HTTP來源與HDFS作爲水槽。以下是使用的conf文件。 httpagent.sources = httpsource httpagent.sinks = hdfs-file-sink httpagent.channels = ch3 httpagent.sources.httpsource.type = http httpagent.sources.httpsource.

1熱度

2回答

Apache Flume與Apache Flink的區別

我需要從某個源讀取數據流（在我的情況下，它是UDP流，但不應該），轉換每條記錄並將其寫入HDFS。使用Flume或Flink是否有此用途？我知道我可以使用Flume與自定義攔截器來轉換每個事件。但我是Flink的新人，所以對我來說，Flink看起來也是一樣。哪一個更好選？性能有差異嗎？請幫助！

0熱度

2回答

如何獲取使用我的羣集（cloudera CDH5.5.1）的flume版本信息？

我使用的是Cloudera CDH5.5.1，我如何才能找到我使用的flume版本？是否有任何命令我可以獲取這些信息，就像一些'hadoop版本'？謝謝:)