卡夫卡到HDFS同步與數據轉換

1）你從卡夫卡到HDFS數據每日同步，通過特定的密鑰存儲在JSON負載分區卡夫卡集羣。需要
2）JSON有效載荷被分成兩個不同的文件

想知道，這可以利用HDFS卡夫卡連接器可以實現？看了一些文檔，我認爲我可以很容易地工作，但無法理解是否有什麼東西可以滿足我的第二個要求。有關如何實現此目的的任何建議將受到高度讚賞。在此先感謝。

2017-05-31 Amit

看看消息轉換，看看它們是否適合您的用例https://kafka.apache.org/documentation/#connect_transforms。基本上，我設想了兩個不同的hdfs連接器實例從同一主題中讀取，並使用ExtractField之類將每個實例的有效內容從您想要的內容中提取出來，然後寫入兩個不同的hdfs位置。 – dawsaw

哇，爲什麼我從來沒有想過在這個方向......不知道這是否會工作，並解決我的要求，但至少這給了我一個方法來嘗試！非常感謝 – Amit

看看消息轉換，看看它們是否適合您的使用案例。基本上，我設想了兩個不同的hdfs連接器實例從同一主題中讀取，並使用ExtractField之類將每個實例的有效內容從您想要的內容中提取出來，然後寫入兩個不同的hdfs位置。

來源

2017-06-02 11:05:18 dawsaw

卡夫卡到HDFS同步與數據轉換

回答

相關問題