flume

0熱度

2回答

我已經編寫了在生產服務器上全天候運行的flume代理。但是有一段時間我觀察到水槽劑靜靜地下降。我需要一種機制，當這種情況發生時，至少可以向客戶機/用戶發出警報。任何建議來處理這種情況。

0熱度

3回答

如果我使用flume或ssh，將文件從一個Linux機器移動到HDFS的最佳方法是什麼？ SSH命令： cat kali.txt | ssh [email protected] "hdfs dfs -put - /data/kali.txt" 唯一的問題與SSH是我需要一提的密碼每次都需要檢查如何通過密碼無需驗證。 flume可以將文件從一臺服務器直接移動到HDFS嗎？

1熱度

1回答

如何通過Flume將文件加載到Kafka Producer？

我有一個日誌文件，我試圖通過Flume代理推送給Kafka Producer。我可以直接從本地機器將文件加載到Kafka生產者。但我的用例是使用Flume代理推送給Kafka。我已經安裝了水槽的啓動並在我的本地@http://localhost:35871 運行，但是，我怎麼通過水槽卡夫卡的數據文件嗎？任何幫助真的不勝感激。謝謝！！！

0熱度

1回答

Flume - 有沒有辦法將avro事件（標題和正文）存儲到hdfs中？

新的水槽... 我收到avro事件並將它們存儲到HDFS中。我明白，默認情況下，只有事件的主體存儲在HDFS中。我也知道有一個。但是我不知道這個串行器實際上在做什麼？它如何影響水槽的最終產量？此外，我不知道如何將事件轉儲到保存其頭信息的HDFS。我是否需要編寫自己的序列化程序？

0熱度

1回答

阿帕奇水槽自定義攔截器 - 二進制和奇怪

HDFS文件我是比較新的水槽攔截器概念，面向應用在那裏攔截sinked該文件是普通的文本文件之前和應用攔截一切後變成非常糟糕的問題。下面我攔截代碼 - package com.flume; import org.apache.flume.*; import org.apache.flume.interceptor.*; import java.util.List; import ja

1熱度

1回答

異常如下 - org.apache.flume.FlumeException：無法加載源類型：com.cloudera.flume

我正在嘗試使用Flume進行推特分析。爲了從Twitter獲取推文，我已經在flume.conf文件中設置了所有必需的參數（consumerKey，consumerSecret，accessToken和accessTokenSecret）。 TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgen

0熱度

1回答

Flume - 如果客戶批量大於通道事務處理能力，會發生什麼情況？

我讀Batch Size, Channel Capacity Channel Transaction Capacity.我有點糊塗了，比方說，一個客戶的批量規模是200，但頻道的記錄容量是100，會發生什麼：客戶是否下調其批量大小，以匹配通道的容量？客戶是否將事件放入2個事務中的通道中？客戶端會嘗試在一個事務中放置200個事件並收到異常嗎？我以爲有人可能已經知道這一點，如果我沒有聽到後面我

0熱度

1回答

未處理的錯誤java.lang.NoSuchMethodError在運行水槽下載Twitter的數據

當我運行此命令 [email protected]:/usr/local/flume$ bin/flume-ng agent --conf ./conf/ -f conf/twitterflume-agent.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent 水槽是起步，但一段時間後，它拋出我除外，它不允許向水槽下載。我得到以下錯誤：

0熱度

1回答

Flume配置文件_滾動

我有Flume和/或log4j的問題。我有JavaEE應用程序與log4j和水槽appender =一切都很好，工作。當我用下面的配置運行水槽時，一切都還好。這裏水槽的conf文件 #define components of agent a1.sources = avroSource a1.channels = ch1 a1.sinks = hdfsSink #define sourc

1熱度

1回答

如何解析Flume中的數據

我想解析來自Flume/Kafka的數據。我已將Flume.conf文件配置爲指向Kafka。我能夠將數據文件從Flume傳遞給Kafka。我想知道如何解析數據以從Flume或Kafka中的數據文件中提取幾個字段。有什麼建議嗎？謝謝