2017-08-16 53 views
0

我使用Docker容器內的流利插件水槽運行流利的代理。 了一段時間後,我的容器裏面的一些程序失敗,下一個錯誤:使用流暢和水槽無限增加的文件描述符的數量

Check failed: _s.ok() Bad status: Runtime error: Could not create thread: Resource temporarily unavailable (error 11) 

我發現號泊塢容器內的文件描述符增加無限:

sudo lsof| grep flume | wc -l 
469292 

和描述的,而數後變得更大,然後文件描述符限制。 看起來像節點連接以錯誤的方式處理:文件描述符在事務結束後仍然存在。

Fluend配置:

<source> 
    @type forward 
    tag forward_1 
    bind 0.0.0.0 
    port 24224 
    linger_timeout 0 
</source> 

<match forward_1> 
     @type copy 
     <store> 
       @type flume 
       timeout 15 
       host localhost 
      port 33333 
     </store> 
</match> 

油煙配置:

forward_1.sources = source1 
forward_1.channels = channel1 
forward_1.sinks = sink1 
# 
forward_1.sources.source1.type = thrift 
forward_1.sources.source1.bind = localhost 
forward_1.sources.source1.port = 33333 
forward_1.sources.source1.channels = channel1 
# 
forward_1.channels.channel1.type = memory 
forward_1.channels.channel1.capacity = 10000 
forward_1.channels.channel1.transactionCapacity = 1000 
# 
forward_1.sinks.sink1.type = org.apache.kudu.flume.sink.KuduSink 
forward_1.sinks.sink1.channel = channel1 
forward_1.sinks.sink1.masterAddresses = 10.1.0.1:7051 
forward_1.sinks.sink1.tableName = shop_logs 
forward_1.sinks.sink1.batchSize = 50 
forward_1.sinks.sink1.producer = KuduJsonProducer 

泊塢版:17.03 Fluentd版本:0​​.14.19 水槽版本:1.7.0

是否有辦法限制文件描述符數量?

回答

相關問題