春季雲中的卡夫卡源碼和HDFS數據流數據流

Question

我使用Kafka作爲源，並且我想使用HDFS接收器將卡夫卡上的消息寫入HDFS。但是我看到文件在HDFS上創建，但是在卡夫卡上的消息沒有寫入HDFS文件。請在Stream DSL下面找到。

stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream 

請幫我解決這個問題。

Answer 1

這可能是數據沒有寫入hdfs磁盤呢。您可以在測試時強制刷新/同步。嘗試設置--hdfs.enable-sync=true --hdfs.flush-timeout=10000這種方式每隔10秒將數據寫入hdfs，無論緩衝區是否已滿。