flume-ng

0熱度

1回答

出發試圖讓阿帕奇水槽鳴叫在HortonWorks。（使用教程點參考）水槽配置權。這裏是flume.conf TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type = com.cloudera

1熱度

1回答

log4j2-錯誤Appenders包含無效的元素或屬性「Flume」

我想使用Flume Appender屬性log4j2。但運行程序時會獲得以下錯誤。 2016-01-20 16:36:42,436 main ERROR Appenders contains an invalid element or attribute "Flume" 2016-01-20 16:36:42,436 main ERROR Appenders contains an in

5熱度

1回答

使用文件通道在水槽中耗盡的空間可用空間

我正在使用帶有後臺打印目錄的Flume作爲源，HDFS作爲宿和文件作爲通道。執行水槽作業時。我遇到了以下問題。內存通道工作正常。但我們需要使用文件通道來實現相同的功能。使用文件通道我得到以下問題。我已經在flume.env.sh文件中將JVM內存大小配置爲3GB。請讓我知道我們需要做的其他設置。 2016年1月20日20：05：27,099錯誤[SinkRunner-PollingRunner-

0熱度

1回答

錯誤，同時流twitter數據

我使用CDH 4.7，並嘗試使用水槽下載流twitter數據到hadoop。我正在執行以下命令。但它顯示一些權限在/ user/flume路徑中被拒絕。如何解決此問題？ [[email protected] flume-ng]$ bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume.conf -Dflume.root.lo

3熱度

1回答

FLUME IllegalStateException：begin（）在事務處於OPEN狀態時調用

我寫了一個名爲MySink的自定義flume sink，其處理方法在下面的第一個代碼段中指出。我得到一個IllegalStateException如下（詳細的堆棧跟蹤的第二個片段是可用下圖）：致：java.lang.IllegalStateException：開始（）調用時交易是開放的！問題：我按照KafkaSink和在水槽代碼庫現有類似水槽的實現，而寫的過程的方法和我申請非常相同的事務處理

0熱度

2回答

Flume：使用Kafka通道將事件路由到適當的主題分區

在Flume中，使用Kafka通道時，是否有辦法影響事件發送到哪個分區？卡夫卡沉，則key FlumeEvent頭顯然是用來選擇一個分區，但我找不到關於與卡夫卡通道分區的任何文件。

0熱度

1回答

HDFS IO錯誤org.apache.hadoop.ipc.RemoteException：服務器IPC版本9無法與客戶端版本4通信

我在虛擬機中使用Flume 1.6.0，在另一臺虛擬機中使用Hadoop 2.7.1。當我將Avro事件發送到Flume 1.6.0並嘗試在Hadoop 2.7.1 HDFS系統上編寫代碼時。發生異常follwing (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.flume.sink.hdfs.HDFSEve

0熱度

1回答

Flume Agent沒有收到數據但沒有錯誤

我有一個水槽的問題。我正在嘗試獲取大數據，因此我正在使用「傻瓜書」中的教程。到目前爲止，其他的東西或多或少有效，但是水槽代理存在一些問題。 Here是我正在使用的教程。當我按照教程做的一切，我的終端輸出將如下： 16/02/05 17:19:33 INFO conf.FlumeConfiguration: Post-validation flume configuration contains

0熱度

1回答

Apache Flume無法將文件從源文件複製到目標文件

我正在以用戶「root」的身份執行Flume代理，我想將保存在位置/root/data-pipeline/input處的XML文件複製到位於hdfs位置的目標位置hdfs:///user/root/data_pipeline_demo/input.. 當我執行水槽劑flume-ng agent -c /etc/flume/conf -f /etc/flume/conf/flume.conf -n

0熱度

3回答

阿帕奇水槽：kafka.consumer.ConsumerTimeoutException

我試圖建立管道與Apache水槽： spooldir - >卡夫卡通道 - > HDFS沉活動去卡夫卡的話題沒有問題，我可以看到他們kafkacat請求。但kafka頻道無法通過接收器將文件寫入hdfs。錯誤是：超時等待數據來自卡夫卡完整的日誌： 2016年2月26日18：25：17125 （SinkRunner-PollingRunner-DefaultSinkProcessor -Sen