從Kibana儀表板消除重複項

Question

我有一個ELK儀表板，它使用來自kafka的數據。 輸入的JSON數據中有4列。例如，列是col1，col2，col3，col4。

每天都有100條記錄用於彈性搜索。

假設我想消除基於特定列的重複項說col1，有沒有辦法在基巴納儀表板上做。

Answer 1

您不能使用Kibana刪除文檔。

爲此，您必須通過刪除API。

爲此，您必須檢索要刪除的文檔的id，然後使用api。

或者使用的插件刪除，通過查詢在同一時間做兩件事：https://www.elastic.co/guide/en/elasticsearch/plugins/current/plugins-delete-by-query.html

您可以使用此查詢與實地COL1重複檢索文件：

{ 
    "size": 0, 
    "aggs": { 
    "duplicateCount": { 
     "terms": { 
     "field": "col1", 
     "min_doc_count": 2 
     }, 
     "aggs": { 
     "duplicateDocuments": { 
      "top_hits": {} 
     } 
     } 
    } 
    } 
} 

來源：https://qbox.io/blog/minimizing-document-duplication-in-elasticsearch