flume

0熱度

1回答

Flume在連續2048個字符後添加換行

我在Ubuntu工作站上運行Flume 1.5代理，該工作站從各種設備收集日誌，並將日誌重新格式化爲逗號分隔文件，行數很長。收集並重新格式化日誌後，將它們放入spool目錄，Flume Agent將日誌文件發送到運行Flume代理的Hadoop服務器以接受日誌文件並將它們放入HDFS目錄中。一切工作正常，除了當Flume發送文件到HDFS目錄時，每行中每2048個字符後有行提供。下面是我的fl

0熱度

2回答

水槽水槽星火使用Scala的

我的水槽配置 source_agent.sources = tail source_agent.sources.tail.type = exec source_agent.sources.tail.command = python loggen.py source_agent.sources.tail.batchSize = 1 source_agent.sources.tail.chan

0熱度

2回答

太多小文件HDFS接收器流水線

agent.sinks=hpd agent.sinks.hpd.type=hdfs agent.sinks.hpd.channel=memoryChannel agent.sinks.hpd.hdfs.path=hdfs://master:9000/user/hduser/gde agent.sinks.hpd.hdfs.fileType=DataStream agent.sinks.h

0熱度

1回答

Apache Flume。帶複用通道選擇器的正則表達式提取器

我有以下Flume配置文件，用於抓取具有特定數值的服務器日誌條目，並將它們推送到相應的 kafka主題。 # Name the components on this agent a1.sources = r1 a1.channels = c2 c3 # Describe/configure the source a1.sources.r1.type = spooldir a1.sour

2熱度

1回答

定製水槽攔截：截距（）方法調用多次對同一事件

TL; DR 當水槽源未能事務推到在流水線中的下一信道，它始終保持事件實例爲下一次嘗試？一般情況下，安全有有狀態 Flume攔截器，其中事件的處理取決於以前處理的事件？全部問題描述：我正在考慮利用有關方式主題分區消費者分佈在消費羣體在現有的基礎水槽日誌進行流式重複數據刪除阿帕奇卡夫卡提供擔保的可能性整合架構。使用Kafka Source for Flume和自定義路由到Kafka主題分區，

1熱度

1回答

Flume morphline攔截器：用於數據清理

我有一個簡單的結構化輸入即時。但它也有像「@」這樣的值存在垃圾或十六進制字符在那裏。我如何使用morphline flume攔截器來清理數據？我的水槽在這裏將是hbase。

0熱度

1回答

關於Flume Kafka源的問題

當我使用Flume Agent從Kafka源獲取數據並將數據寫入HDFS時，但有些主題效果不佳。 Kafka的版本是kafka_2.11-0.8.2.1 。所以，我運行命令bin/kafka-topics.sh --zookeeper zk:port/kafka --描述，結果是主題：__ consumer_offsets PartitionCount：50 ReplicationFactor：

0熱度

1回答

Apache Flume卡住後執行flu-ng

我需要幫助。我已經下載Apache Flume並安裝在Hadoop之外，只是想通過控制檯嘗試netcat日誌記錄。我用1.6.0版本。這裏是我的conf https://gist.github.com/ans-4175/297e2b4fc0a67d826b4b 這裏是我如何開始它 bin/flume-ng agent -c conf -f conf/netcat.conf Dflume.ro

1熱度

1回答

來自Netcat源的事件不經過Kafka通道

我使用flume代理通過Flume代理收集外部數據。外部數據批次幾乎是每10秒1MB。我將Flume代理配置如下。 # Flume agent configuration as /flume/conf/agent.conf agent.sources = netcat-source agent.channels = kafka-channel agent.sinks = logger-sin

2熱度

1回答

碼頭互通信

我想運行Hadoop和Flume dockerized。我有一個帶有所有默認值的標準Hadoop圖片。我看不出這些服務如何能夠將彼此之間的信息交換到獨立的容器中。 Flume的Dockerfile看起來是這樣的： FROM ubuntu:14.04.4 RUN apt-get update && apt-get install -q -y --no-install-recommends wge