0
我想在卡夫卡流消費者使用讀卡夫卡的記錄,有讀取記錄每一個給定的時間間隔的選擇讀取記錄?例如每1分鐘?如何從卡夫卡用卡夫卡流通過間隔
我想在卡夫卡流消費者使用讀卡夫卡的記錄,有讀取記錄每一個給定的時間間隔的選擇讀取記錄?例如每1分鐘?如何從卡夫卡用卡夫卡流通過間隔
我不知道我是否正確地理解你的問題。但是,我認爲有多種方法(取決於你實際想要達到的目標,而不是從問題中得出)。
KafkaConsumer
你可以閱讀郵件,並通過間隔檢查它們的時間戳,塊數據
我的意思是說,有一個選項可以每隔1分鐘從卡夫卡提取數據(例如:在10:01從10:00到10:01讀取所有記錄,在10:02讀取所有記錄從10:01到10:02等),而不是在運行時獲取新記錄? 我想讀取數據進行處理每個給定的時間間隔,而不是將數據保存在內存中,直到處理。 – user7365161
由於Kafka是基於拉的,因此沒有內置的支持。您需要使用建議的方法之一將此邏輯放入客戶端。如果我正確理解了你的評論,則可能需要結合使用方法(3)以在開始poll()之前獲取當前的日誌結束偏移量,並且僅將消費者消息轉換爲獲得的偏移量(以避免讀取添加的記錄開始消費後) –