將informatica與Kafka集成

Question

我打算在Informatica BDM中使用Kafka Data Objects。 我想通過Informatica BDM每隔5分鐘從卡夫卡讀取數據。我幾乎不知道Kafka如何識別它必須加載的當前偏移量。 我們是否可以設置Informatica需要加載Kafka數據對象中的增量或更改數據的主題的偏移量？ 我找到了下面的答案，請問你能否正確的處理它： 1）Zookeeper是否存儲當前的偏移量，直到數據被加載。 2）要讀取上次提交的偏移量後的消息，我們需要將Consumer配置文件中的auto.offset.reset參數設置爲最大。

請告訴我一個如何從卡夫卡獲取數據的方法。

問候，

Srinath

Answer 1

回答您的問題，

1. 老客戶API專賣店在ZooKeeper的偏移。然而，新的消費者API將抵消存儲在卡夫卡的內部主題中。
2. 在消費羣體中，默認情況下，卡夫卡消費者開始使用上次提交的抵消消息。配置文件auto.offset.reset在用戶組不存在提交偏移時起作用。例如，當消費者作爲新消費者組的一部分開始消費時，此配置將確定從何處開始日誌中的哪個位置（日誌的開頭或日誌的結尾）。