kafka-consumer-api

0熱度

2回答

如何使用Apache Kafka產生/消費延遲消息？看起來像標準的Kafka（和Java kafka-client）功能沒有這個功能。我知道我可以用標準的等待/通知機制自己實現它，但它看起來不太可靠，所以我們讚賞任何建議和良好做法。找到related question，但它沒有幫助。正如我所看到的：Kafka基於文件系統的連續讀取，並且只能用於直接讀取保留消息排序的主題。我對嗎？

0熱度

2回答

卡夫卡中的同一主題的消費者數量是否有限制？

對於同一組中的同一主題，Kafka對同時連接（使用 Consumer.createJavaConsumerConnector創建）是否有限制？我的情況是我需要消耗不同的過程（不線程）的話題，所以我需要創建大量的高層次消費者的。

3熱度

1回答

卡夫卡生產TimeoutException異常：到期

我使用卡夫卡與春季啓動1個結果：卡夫卡監製類： @Service public class MyKafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; private static Logger LOGGER = LoggerFactory.getLogge

2熱度

2回答

關聯卡夫卡和動態主題

我正在建立一個使用卡夫卡的相關係統。假設有一個服務A執行數據處理，並有數千個客戶端B提交作業。乙 s爲短暫的，他們出現在網絡上，數據推到一個，然後兩個重要的事情發生了：乙將立即從一個接收狀態; 乙然後要麼輟學完全，還在網上對地位得到進一步更新，還是會偶爾彈回上以檢查其狀態。（這與網格計算或mpi沒有不同）。乙具有一個唯一的ID（UUID在我的情況），這將它發送到在標頭，這反過來，使用它

0熱度

1回答

Apache kafka - 消費者延遲選項

我想在短時間內爲特定主題啓動kafka消費者。具體而言，我希望消費者在產生消息的特定時間延遲之後開始消費來自主題的消息。誰能說有沒有任何財產或卡夫卡選項來啓用它。提前致謝。

0熱度

1回答

卡夫卡 - 簡單的消費/製造商設置沒有不同的機器上工作，但使用下面的簡單<code>producer</code>/<code>consumer</code>教程本地工作

我已經安裝和設置Kafka： https://kafka.apache.org/quickstart 我有2機器，並且都使用Ubuntu。簡歷的問題：如果我使用producer和consumer在同一臺機器上，一切工作正常。如果我用machine 2的producer，並在machine 1休息，如kafka，zookeeper服務器和consumer，我從來沒有在machine 1收到任何

1熱度

1回答

C++與卡夫卡 - 消費者只得到一些製片人的消息

我用下面的代碼C++產生消息Kafka： #include <thread> #include <cppkafka/producer.h> using namespace cppkafka; int main() { for(int i = 0 ; i < 100 ; i++) { std::cout << "sending msg number: "

3熱度

1回答

Kafka Streams：如何更改記錄時間戳（0.11.0）？

我正在使用FluentD（v.12上一個穩定版本）向Kafka發送消息。但FluentD使用的是舊的KafkaProducer，因此記錄時間戳記始終設置爲-1。因此，我必須使用WallclockTimestampExtractor將記錄的時間戳設置爲時間點，當郵件到達kafka時。時間戳我在真的有興趣，由fluentd消息中發送：「時間戳」：「1507885936」，「主人」：「V.X

0熱度

1回答

問題連接到卡夫卡經紀人

我想連接到使用春季卡夫卡客戶端的卡夫卡服務器&我在日誌中看到下面的錯誤。我連接到一個特定的kafka經紀人IP，我驗證了這一點。我似乎在下面的錯誤日誌中看到了本地引用。你能幫我進一步調試嗎？我推送使用logback.xml。以下是配置。在測試之前我硬編碼了kafka主機和端口。相同的代碼和配置適用於其中一種環境。 <appender name="asyncVerboseKafka" c

0熱度

2回答

卡夫卡的NodeJS與消費羣PM2

我實現了卡夫卡的消費者應用程序，我只是想知道，如果我在PM2集羣模式下運行這個程序，將所有的內核消耗相同的消息或不同的消息？有沒有一種方法可以驗證它？在集羣模式下運行此應用程序是否理想？我在集羣模式下運行這個原因是因爲我們的卡夫卡產生了大量的消息。也是目前如果我在PM2集羣模式下運行，這所有的核心都達到了它的CPU使用率達到100％。它是否會像這樣發生？ FYI：我使用https://www.n