3
我正在嘗試使用Kafka-Connect與HDFS接收器連接器來傳輸數據。獨立模式和分佈式模式都運行正常,但它只寫入HDFS一次(基於刷新大小),而不是稍後流式傳輸。如果我錯過了一些東西,請幫忙。Kafka Connect HDFS接收器問題
匯合2.0.0 &卡夫卡0.9.0
我正在嘗試使用Kafka-Connect與HDFS接收器連接器來傳輸數據。獨立模式和分佈式模式都運行正常,但它只寫入HDFS一次(基於刷新大小),而不是稍後流式傳輸。如果我錯過了一些東西,請幫忙。Kafka Connect HDFS接收器問題
匯合2.0.0 &卡夫卡0.9.0
我面臨以下參數這個問題長期back.Just支票上未
連接-HDFS散熱器性能
「logs.dir 「:」/ hdfs_directory /數據/登錄」
「request.timeout.ms」: 「310000」
「offset.flush.interval.ms」: 「5000」
「heartbeat.interval.ms」: 「60000」
「session.timeout.ms」: 「300000
」 最大。 poll.records「:」100「
非常感謝Gaurav。我錯過了logs.dir屬性。現在運行良好並能夠流式傳輸數據。 –
是不是'consumer.max.poll.records'而不是'max.poll.records'? –