根據卡夫卡消息數據寫入自定義HDFS目錄 - > Flume - > hdfs攝取

如何使用基於卡夫卡消息中的消息類型的槽來寫入自定義hdfs目錄？根據卡夫卡消息數據寫入自定義HDFS目錄 - > Flume - > hdfs攝取

說卡夫卡消息：{"type": "A", "data": "blah"}具有類型字段「A」應寫入/data/A，消息：{"type": "B", "data": "blah"}具有類型字段「B」應寫入/data/B等

2015-12-29 har777

您可以添加更多的細節和/或顯示迄今爲止嘗試的內容嗎？ – Will

http://stackoverflow.com/questions/26385035/hdfs-sink-clever-folder-routing可能的重複？ – cjcroix

我認爲你需要自定義水槽水槽。 Apache Flume custom sink

2015-12-29 07:08:08 Guo

不只是一個定製的接收器。要根據事件的內容（稱爲多路複用）將事件發送到特定接收器，您需要編寫一個攔截器http://xingwu.me/2014/10/11/Routing-Flume-Events-to-Different-Sinks/ – cjcroix

@ ClydeD'Cruz謝謝！ – Guo

@Clyde D'Cruz Woo謝謝！正是我想要的。 – har777

回答