如何通過spark讀取幾列elasticsearch？

Question

在ES集羣，它有一個大規模的數據，我們使用的火花計算數據，但在elasticsearch-hadoop的方式，其次是https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

我們去閱讀一個索引的全列。有什麼幫助嗎？

Answer 1

是的，您可以分別設置配置參數「es.read.field.include」或「es.read.field.exclude」。全部細節here。假設Spark 2或更高版本的示例。

val sparkSession:SparkSession = SparkSession 
    .builder() 
    .appName("jobName") 
    .config("es.nodes", "elastichostc1n1.example.com") 
    .config("es.read.field.include", "foo,bar") 
    .getOrCreate()