elasticsearch-spark

3熱度

1回答

如何在使用Elasticsearch中的elasticsearch-spark從Elasticsearch讀取數據時的類型轉換

當我嘗試使用elasticsearch-spark中的esRDD("index")函數從elasticsearch中讀取數據時，我得到的結果類型爲org.apache.spark.rdd.RDD[(String, scala.collection.Map[String,AnyRef])]。當我檢查這些值時，它們都是AnyRef。但是，我看到在ES site，它說： elasticsearch-Ha

1熱度

1回答

Spark +彈性搜索寫入性能問題

使用spark java查看對elasticsearch的低寫入次數。下面是使用13.xlarge機ES羣集配置 4 instances each have 4 processors. Set refresh interval to -1 and replications to '0' and other basic configurations required for better wr

0熱度

1回答

Elasticsearch 5.0和Elasticsearch星火連接器 - 什麼是正確的行家假象

在編寫應用程序在運行Apache星火1.6使用Elasticsearch星火連接器，文件在（https://www.elastic.co/guide/en/elasticsearch/hadoop/5.0/install.html#_minimalistic_binaries）說，使用maven的假象 <dependency> <groupId>org.elasticsearch</groupId

0熱度

1回答

從elasticsearch-spark檢索指標

在ETL級聯作業結束時，我使用Hadoop metrics提取有關Elasticsearch攝取的度量標準，elasticsearch-hadoop使用Hadoop計數器公開。我想用Spark做同樣的事情，但是我沒有找到與使用Spark connector的指標有關的文檔。並不總是，但通常我們要在EMR中執行作業（Hadoop），因此Spark connector可能與使用Cascading連

0熱度

1回答

Elasticsearch hadoop配置批量批量大小

我讀過可能的Stackoverflow es-hadoop/es-spark項目使用批量索引。如果它是默認的批量大小是根據BulkProcessor（5Mb）。有沒有任何配置可以改變這一點。我在我的代碼中使用JavaEsSparkSQL.saveToEs(dataset,index)，我想知道可用的配置是否可用來調整性能。這也與數據集的分區有關。它們的配置頁 es.batch.size.byte

0熱度

1回答

從Elasticsearch中讀取Spark獲取精確字段

我對ElasticSearch非常陌生：我正嘗試使用Java中的Spark從索引中讀取數據。我有一段代碼，但它返回的數據集內的文檔只有文檔的兩個「根」元素，而所有其餘數據都以JSON格式存儲在這些列內。這是我的代碼： SparkConf sparkConf = new SparkConf(true); sparkConf.setAppName(Test.class.getName()