2015-10-20 19 views
0


首先原諒我,如果我聽起來總新手因爲我沒有這個服務的所有者(還)
沒有數據解析+例外

我們使用ELK( Elasticsearch(1.4.2)/ Logstash/Kibana - 我們使用一個分片,所以沒有副本)來解析我們的日誌並基於Kibana中的一些過濾器顯示圖表。

在過去的兩週內,我們看到由於某種原因,沒有新的數據顯示在圖表上,除了日常關機之外,服務器上沒有任何更改。

elasticsearch指數是每天創建的。
日誌的輸入是通過redis進行的,實際上我看到redis中的活動和新日誌一直在進來。

在logstash.log我看到以下異常:

[2015-10-20 04:39:49,462][DEBUG][action.search.type  ] [shard1] [logstash-2015.10.15][2], node[G5aAjTSEQCiX5JXlmSx8ng], [P], s[STARTED]: Failed to execute [[email protected]] lastShard [true] 
org.elasticsearch.search.SearchParseException: [logstash-2015.10.15][2]: from[-1],size[-1]: Parse Failure [Failed to parse source [{"facets":{"terms":{"terms_stats":{"value_field":"acked_contacts_","key_field":"customer_name","size":10,"order":"count"},"facet_filter":{"fquery":{"query":{"filtered":{"query":{"bool":{"should":[{"query_string":{"query":"(action:BULK_RECEIVER) AND (result:SUCCESS or result:FAILURE OR result:Success OR result:Failed)"}}]}},"filter":{"bool":{"must":[{"range":{"@timestamp":{"from":1444711190919,"to":1445315990919}}}]}}}}}}}},"size":0}]] 
     at org.elasticsearch.search.SearchService.parseSource(SearchService.java:681) 
     at org.elasticsearch.search.SearchService.createContext(SearchService.java:537) 
     at org.elasticsearch.search.SearchService.createAndPutContext(SearchService.java:509) 
     at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:264) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$5.call(SearchServiceTransportAction.java:231) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$5.call(SearchServiceTransportAction.java:228) 
     at org.elasticsearch.search.action.SearchServiceTransportAction$23.run(SearchServiceTransportAction.java:559) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
Caused by: org.elasticsearch.search.facet.FacetPhaseExecutionException: Facet [terms]: failed to find mapping for acked_contacts_ 

正如我所說,我不是真的在這裏的專家,但我比較的指數從10月1日的映射,以及今天的指數,並且它們有不同的映射。
難道這是關係到停工的一個?我不知道爲什麼它已經改變了(沒有人做任何服務器上的工作)

假設這就是問題所在,我有辦法:

  1. 恢復舊的映射,所以未來的索引將創建一個正確的?
  2. 更改現有索引的映射(關閉不是問題),使數據再次可搜索?

我,如果我提供了所有必需的信息不知道,讓我知道如果有更多需要提前
感謝,

MENY

+0

索引是在午夜創建的嗎? (當第二天的索引應該創建) –

+0

這是可能的,我怎麼能確認?索引名稱是它代表的數據的日期 –

回答

0

您正在運行鍼對查詢不包含您引用的字段的索引。

您可以在elasticsearch中搜索ignore the unmapped fields,或者在您的kibana查詢中使用存在

+0

我意識到缺少的映射,我想了解的是爲什麼它已經失蹤。它存在之前,我不想忽略它 –

+0

如果你有一個索引,那麼你有一個映射。可能此字段不再被添加到新記錄中,因此它不會出現在新的(每日)映射中。是由grok {}創建的字段?那個grok失敗了嗎?它是由一些外部過程添加失敗嗎?等等 –