flume

0熱度

1回答

我有一個使用Flume的攝入管道& Kafka，使用CSV文件，在Flume Interceptor中將事件轉換爲JSON並在Kafka中推送它。當我在發送給Kafka之前記錄消息時，這是一個正常的，有效的JSON。但是，當從Kafka消費相同的消息時，我在嘗試序列化它時收到錯誤，並說它不是有效的JSON。事實上，我有無法識別的字符在我的消息的開頭：例如我認爲它代表水槽試圖在張貼到卡夫卡時

0熱度

1回答

Flume不接受Twitter流的關鍵字

這裏有一位Hadoop新手，使用本教程：https://acadgild.com/blog/streaming-twitter-data-using-flume/來捕獲推文。這裏是我的flume.conf文件： TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS

1熱度

1回答

使用FLUME將數據存儲在Hadoop中

我已經按照教程中的hadoop安裝和Flume的所有步驟進行了操作。我在大數據工具中很無聊。我收到以下錯誤。我不明白，問題在哪裏？我也讀了很多關於安裝的帖子，但我仍然面臨這個問題。我的最終目標是使用R執行Twitter情緒分析。 17/09/29 02:25:39 INFO node.PollingPropertiesFileConfigurationProvider: Configurati

0熱度

1回答

從邊緣設備到HDFS獲取平面數據文件和過程

我有一個用例，車輛上的設備必須將平面二進制文件發送到雲服務器，在它們進入並處理數據時將它們存儲到Hbase 。我想知道哪些數據提取框架支持從遠程設備上傳平面二進制文件，以及需要使用哪種數據處理框架來解析這些文件並將數據存儲到HBase中。請提出適合我的應用的設計。

0熱度

1回答

如何計算吞吐量的Hadoop

水槽如何計算水槽的吞吐量在我的Hadoop集羣？我是第一次這樣做。所有這一切都寫入到HDFS我的數據是通過水槽。我看了一些圖表HDFS中發現：在整個寫的DataNodes總字節似乎是圍繞2.2MB/s的平均爲1 d週期。這是正確的和走的路？

0熱度

1回答

使用流暢和水槽無限增加的文件描述符的數量

我使用Docker容器內的流利插件水槽運行流利的代理。了一段時間後，我的容器裏面的一些程序失敗，下一個錯誤： Check failed: _s.ok() Bad status: Runtime error: Could not create thread: Resource temporarily unavailable (error 11) 我發現號泊塢容器內的文件描述符增加無限： sud

0熱度

2回答

當數據從卡夫卡流向HDFS時，Flume沒有足夠的空間錯誤

我們正在努力處理從Kafka到由Flume管理的HDFS的數據流。由於下面描述的例外情況，數據未完全傳輸到hdfs。但是這個錯誤對我們來說看起來有些誤導，我們在數據目錄和hdfs中都有足夠的空間。我們認爲這可能是通道配置的問題，但我們對於其他來源具有類似的配置，並且對於它們來說工作正常。如果有人不得不處理這個問題，我會很感激提示。 17 Aug 2017 14:15:24,335 ERROR

1熱度

1回答

如何使用增長文件作爲Apache Kafka製作者並只讀取新添加的數據

我正在嘗試將文件用作我的製作人。源文件連續增長（例如每秒記錄20條記錄）。下面是類似我的問題後： How to write a file to Kafka Producer 但是，在這種情況下，整個文件被讀取並添加到卡夫卡的話題每一個新行插入文件的時間。我只需要將新添加的行發送到主題（即，如果該文件已包含10行，並且附加了4行，則只需將這4行發送到該主題）。有沒有辦法實現這個？其它的解決方案的

0熱度

1回答

水槽錯誤：通道hdfschannel不活躍集

我得到以下錯誤消息，當我開始我的水槽劑： 17/10/15 14:40:47 WARN conf.FlumeConfiguration: Could not configure sink hdfssink due to: Channel hdfschannel not in active set. org.apache.flume.conf.ConfigurationException: Cha

0熱度

1回答

來自Kafka在Flume中的EOFException

我正在嘗試設置從控制檯Kafka生產者到Hadoop文件系統（HDFS）的簡單數據管道。我正在開發一款64位的Ubuntu虛擬機，並按照我所遵循的指南的建議，爲Hadoop和Kafka創建了單獨的用戶。使用控制檯消費者在卡夫卡消費生產的輸入，並且HDFS似乎正在運行。現在我想使用Flume將輸入傳送到HDFS。我使用下面的配置文件： tier1.sources = source1 tier1.