3
我正在使用下面的卡夫卡控制檯生產者命令將文件的內容傳遞給卡夫卡生產者。卡夫卡控制檯生產者丟失郵件
sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv
Data.csv文件有大約700,000條記錄。我在消費者輸出中僅收到大約699,800條消息。
我檢查了消費者的偏移計數器，並基於偏移值，它在隊列中只有699,800條消息。
你能幫我找出是什麼原因導致了這個失去信息的問題。我需要檢查什麼才能找到根本原因。
data.csv有多少行？根據我的經驗，卡夫卡會將每一行解釋爲一條新消息。你預計70萬或700,000？ – pjames
@pjames大約有700,000條消息，即文件中的每一行都是一條消息 –