flume-ng

1熱度

1回答

我已經寫了一個水槽直接寫入cassandra數據庫。我還爲水槽代理提供了所有必要的cassandra依賴。但在執行，我得到一個錯誤 015-04-30 00:53:25,736 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunn

1熱度

1回答

如何在簡單文件中設置用於收集日誌的Flume

我是Flume的新用戶。我的要求是使用主機，端口等配置從Java代碼啓動Flume代理，並且當外部服務記錄它們的數據時，它應該寫入一個簡單的文本文件，例如server.log中。我不想使用HDFS接收器。什麼應該是配置？

0熱度

1回答

Flume：kafka通道和hdfs接收器無法傳遞事件錯誤

我想嘗試這個新的Flafka流：只使用kafka通道傳輸數據到hdfs接收器。我試圖從kafka頻道和記錄器接收器，這是更容易監控。我的配置文件是： # Name the components on this agent a1.sinks = sink1 a1.channels = channel1 a1.channels.channel1.type = org.apache.flume.

1熱度

1回答

使用水槽的kafka通道中的動態主題

是否有可能擁有一個帶有動態主題的kafka通道 - 類似於可以指定主題頭的kafka水槽，或者可以使用頭中的值的HDFS水槽？我知道我可以多路複用以使用多個通道（具有一堆通道配置），但這是不可取的，因爲我想有一個動態HDFS接收器，而不是每個kafka通道的HDFS接收器。

-1熱度

1回答

運行水槽代理與自定義來源

我想從here配置自定義源的水槽代理人，我嘗試使用命令 flume-ng agent --conf conf --conf-file conf/twitter1.conf --name TwitterAgent 運行水槽劑，但我無法啓動我的水槽劑，它像這樣顯示錯誤消息，命令迅速的回覆是 > Info: Sourcing environment configuration script > /u

0熱度

1回答

Flume ElasticSearchSink不會消耗所有消息

我正在使用flume將日誌行處理爲hdfs，並使用ElasticSearchSink將它們記錄到ElasticSearch中。這裏是我的配置： agent.channels.memory-channel.type = memory agent.sources.tail-source.type = exec agent.sources.tail-source.command = tail -

3熱度

1回答

Flume 1.6.0代理啓動失敗

我在bin文件夾中使用flume-ng文件啓動apache flume agent時遇到了問題。我不知道如何解決這個問題。我只是想運行一個水槽的例子。我正在使用CentOS（Linux發行版），只有命令行。下面你可以看到我的配置文件。 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 ag

4熱度

1回答

Flume用例：從HTTP讀取並通過Kafka推送到HDFS

我是Flume的新用戶，並且想在以下場景中使用Flume。我們的系統接收事件作爲HTTP POST，我們需要將它們的副本存儲在Kafka（用於進一步處理）以及HDFS中另一個副本（作爲永久存儲）。我們可以將Flume源配置爲HTTP，信道爲KAFKA，接收器爲HDFS以符合我們的要求。此解決方案是否有效？

1熱度

1回答

自定義攔截器不能與Apache Flume配合使用

我有一個Flume組件監聽Syslog流。我做了一個自定義攔截器來修改調用，但它不工作。我做錯了什麼？謝謝安德烈攔截器是一個精心編制的JAR Ile和在@ FLUME_HOME/bin中目錄攔截器類： package com.test.flume; import org.apache.flume.Context; import org.apache.flume.Event; im

5熱度

1回答

Flume未使用Hadoop 2.5的flume-ng處理來自Twitter源的關鍵字cdh5.3

我正在嘗試處理一些推特關鍵字MemChannel和HDFS。但是flume-ng在控制檯上的HDFS started狀態之後沒有顯示進一步的進展。這裏是/etc/flume-ns/conf/flume-env.sh的文件內容。 # Licensed to the Apache Software Foundation (ASF) under one # or more contributor l