Spark中的時間戳映射到Elasticsearch

Question

我正在使用Spark將日誌寫入elasticsearch.Logs是具有時間戳字段的JSON格式。

例如{ "timestamp": "2016-11-02 21:16:06.116" }

當我寫JSON的日誌彈力指數，時間戳被分析爲字符串而不是日期。我試着用sparkConf.set("es.mapping.timestamp", "timestamp")設定sparkconf的屬性，但它拋出在運行時以下錯誤：org.apache.spark.util.TaskCompletionListenerException：無法解析時間戳[2016年11月3日15：46：55.1155]

Answer 1

你可以改變時間戳數據格式

2016年11月2日21：16：06.116 - > 2016-11-02T21：16：我使用2016-11-02T21 06.116

：16：06.116插入到彈性是工作

類型屬性

"create_time": { 
    "format": "strict_date_optional_time||epoch_millis", 
    "type": "date"