Kafka Connect的Elasticsearch連接器 - 偏移量和時間戳

Question

我正在爲kafka連接使用elasticsearch連接器（合流）。我從主題獲取消息到elasticsearch索引。如果沒有使用密鑰，我可以看到offset是_id的一部分。我想根據偏移量和時間戳瀏覽elasticseach中的消息。

是否可以得到郵件的偏移量和時間戳作爲索引中的字段？

這裏是elasticsearch文件

{ "_index": "test-elasticsearch-sink", "_type": "kafka-connect", "_id": "test-elasticsearch-sink+0+0", "_score": 1, "_source": { "f1": "value1" } }

感謝， 拉傑什

Answer 1

這是目前不可能，但我們正在沿着特徵線，使吊裝記錄元數據像timestamp思考，topic,partition,offset。

Answer 2

使用Single Message Transforms確實可以添加新的字段，包括偏移量和時間戳等值。看看org.apache.kafka.connect.transforms.InsertField。