ElasticSearch的TransportClient 5.4.3中是否存在內存泄漏或者我的代碼有缺陷？

ElasticSearch的TransportClient 5.4.3中是否存在內存泄漏？或者我沒有正確使用和關閉對象？ElasticSearch的TransportClient 5.4.3中是否存在內存泄漏或者我的代碼有缺陷？

我在JRE 1.8.0_66上的Jenkins（2.68）中使用客戶端，並在Groovy中編寫我的代碼。正在使用BulkRequestBuilder提交多個記錄。

整個代碼，這些4X 16 MB字節數組出現在內存中，但永遠不會關閉，即使過去TransportClient.close（）方法：如果我通過代碼比較慢，我可以得到高達9倍這些16 MB字節數組，其中一些看起來非常相似：

我認爲我完全按照官方文檔：https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/transport-client.html

下面是我使用的代碼的下調版本：

@Grapes([ 
    @Grab(group = "org.apache.logging.log4j", module = "log4j-api", version = "2.8.2", initClass = true), 
    @Grab(group = "org.apache.logging.log4j", module = "log4j-core", version = "2.8.2", initClass = true), 
    @Grab(group = "org.elasticsearch.client", module = "transport", version = "5.4.3", initClass = true) 
]) 
public class ElasticSearchReport implements Serializable { 

    pubblic void execute() { 
     // Data to report. 
     List<Map<String, Object>> data = ... 

     // ElasticSearch settings. Do not use sniffing because we want to upload data to the master node. 
     Settings settings = Settings.builder() 
      .put("cluster.name", "my-cluster") 
      .put("client.transport.sniff", false) 
      .build() 

     PreBuiltTransportClient preBuiltTransportClient = new PreBuiltTransportClient(settings) 
     TransportClient client = preBuiltTransportClient.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("my-elastic-search-host"), 9300)) 
     List<String> errors = new LinkedList<String>() 

     try { 
      BulkRequestBuilder bulkRequest = client.prepareBulk() 

      // Build the bulk query with each data entry. 
      data.each({entry -> 
       String serialisedEntry = SerializationUtils.toJson(entry) 
       bulkRequest.add(client.prepareIndex("my-index", "my-type").setSource(serialisedEntry, XContentType.JSON)) 
      }) 

      // Process the response. 
      bulkRequest.get().getItems().each({response -> 
       if (response.failed) { 
        errors.add(response.failure.message) 
        return 
       } 

       final String statusName = response.status().name() 

       // Check statusName ... 
      }) 

      if (errors) throw new Exception(...) 
     } finally { 
      client.close() 
      preBuiltTransportClient.close() 
     } 
    } 
}

從對象我使用的，只有PreBuiltTransportClient和TransportClient實施Closeable所以我想明確地關閉他們在我finally塊。

嘗試使用.withCloseable()（Groovy的等效try-with-resources），但它並沒有阻止問題的發生。

我想也許我bulkRequest.get().getItems().each({response ->線是做一些有趣的事情，所以我用以下，但沒有效果取代了它：

BulkResponse bulkResponse = bulkRequest.get() 
BulkItemResponse[] bulkItemResponses = bulkResponse.getItems() 
for (int responseIndex = 0; responseIndex < bulkItemResponses.length; responseIndex++) { ... }

我也試圖與BulkResponse bulkResponse = bulkRequest.execute().actionGet()沒有運氣更換BulkResponse bulkResponse = bulkRequest.get()。

來源

2017-07-05 Daniel

ElasticSearch Java REST Client似乎沒有這些問題。我已經切換到它，並沒有經歷過內存不足的錯誤。所有相對較大的字節數組在客戶關閉和限定範圍後發佈。

來源

2017-07-12 17:02:14 Daniel

ElasticSearch的TransportClient 5.4.3中是否存在內存泄漏或者我的代碼有缺陷？

回答

相關問題