2017-03-05 37 views
0

我正在使用卡夫卡0.10.2和zookeeper 3.4.9我在卡夫卡經紀人上存儲我的補償。我在具有5個分區的話題運行3層的消費者因此爲了檢查滯後和所有我跑的命令卡夫卡描述了顯示特質的羣組命令

./kafka-consumer-groups.sh --bootstrap-服務器localhost:9092 - 描述--group組1

所以導致首次是

TOPIC       PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG  CONSUMER-ID          HOST       CLIENT-ID 
topic1   1   669    670    1   consumer-1-9417e05b-1cf9-4f0f-b6cd-61effdd09456 /127.0.0.1      consumer-1 
topic1   4   616    617    1   consumer-3-9ba9b12e-d6c2-423f-93cd-313906a2559c /127.0.0.1      consumer-3 
topic1   2   628    706    78   consumer-2-22263f3a-bb8a-4305-a1c8-fbae9f190dda /127.0.0.1      consumer-2 
topic1   3   695    697    2   consumer-2-6abb5b02-3ee8-4fd2-ade3-e10e3ce7d06f /127.0.0.1      consumer-2 
topic1   0   11433   39381   27948  consumer-1-30b79487-4de8-40a4-951c-02f25e8976fc /127.0.0.1      consumer-1 
-        -   -    -    -   consumer-5-034e5889-dcc4-4cd1-975b-0d40a88899cf /127.0.0.1      consumer-5 
-        -   -    -    -   consumer-3-c10d695e-e067-428f-b31a-3a5318d60ef3 /127.0.0.1      consumer-3 
-        -   -    -    -   consumer-4-090258c4-4d76-4cdd-8b62-f8fccf3ec097 /127.0.0.1      consumer-4 

和1分鐘後運行相同的指令顯示該結果

TOPIC       PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG  CONSUMER-ID          HOST       CLIENT-ID 
topic1   1   345    678    333  consumer-1-9417e05b-1cf9-4f0f-b6cd-61effdd09456 /127.0.0.1      consumer-1 
topic1   4   620    622    2   consumer-3-9ba9b12e-d6c2-423f-93cd-313906a2559c /127.0.0.1      consumer-3 
topic1   2   708    708    0   consumer-2-22263f3a-bb8a-4305-a1c8-fbae9f190dda /127.0.0.1      consumer-2 
topic1   3   545    701    156  consumer-2-6abb5b02-3ee8-4fd2-ade3-e10e3ce7d06f /127.0.0.1      consumer-2 
topic1   0   11433   39385   27952  consumer-1-30b79487-4de8-40a4-951c-02f25e8976fc /127.0.0.1      consumer-1 
-        -   -    -    -   consumer-5-034e5889-dcc4-4cd1-975b-0d40a88899cf /127.0.0.1      consumer-5 
-        -   -    -    -   consumer-3-c10d695e-e067-428f-b31a-3a5318d60ef3 /127.0.0.1      consumer-3 
-        -   -    -    -   consumer-4-090258c4-4d76-4cdd-8b62-f8fccf3ec097 /127.0.0.1      consumer-4 

這怎麼可能是之前的電流偏移量,滯後和總偏移(分區1)均大於後者one.Please讓我知道如果我失去了一些東西

回答

1
  • 如果消費者使用seek()它可以倒退,因此,current offset可以變小。

  • 不確定您的意思是「總偏移量」?如果您參考log-end-offset,則如果將新數據寫入主題分區(因此它與實際使用者組無關),則此偏移量會增加。

  • 對於lag:這只是log-end-offsetcurrent offset之間的差異。因此,由於current offset比以前更小,並且log-end-offset更大,所以它也更大。

+0

Matthias - 感謝您的回覆我明白了您的觀點。我的消費者代碼中的任何一點都沒有使用seek。在主題分區1的一次讀數中,當前偏移量,對數偏移量和滯後量顯示爲669,670,1,在二次讀數中顯示爲345,678,333,這是如何實現的? – Abhimanyu