rdkafka消費者關於分區大小的查詢

Question

假設我無權訪問提交感興趣的分區的生產者集合，但只能控制一堆C++消費者。 由於我在一個複雜的程序上運行基準測試，我想知道我的消費者獲取的偏移量與存儲在分區中的總偏移量之間的差距。

例如，>> reading message #1234 of 5678 total in partition 0 of topic foo

我誤解的RdKafka::Consumer->outq_len()和RdKafka::Topic->OFFSET_END的目的，因爲它們似乎總是等於分別0和-1。

我怎樣才能獲得我例子的5678值？

Answer 1

您需要訂閱librdkafka的統計信息才能獲得消費者滯後的更新視圖。 註冊一個Event回調類和regularily呼籲poll()你的手柄，檢查EVENT_STATS，然後解析相應的JSON消息，並尋找lo_offset，hi_offset和consumer_lag。