elasticsearch-hadoop

0熱度

1回答

在ES集羣，它有一個大規模的數據，我們使用的火花計算數據，但在elasticsearch-hadoop的方式，其次是https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html 我們去閱讀一個索引的全列。有什麼幫助嗎？

0熱度

1回答

如何在使用pyspark進行批量更新時忽略異常（如果doc不存在）

我試圖在pyspark中使用elasticsearch hadoop軟件包進行更新操作。它在文檔中說如果找不到數據，就會拋出異常。在pyspark中忽略這個異常的最好方法是什麼？或者是否有可能傳遞像python elasticsearch API提供的raise_on_exception = False，raise_on_error = False之類的東西？謝謝！

0熱度

1回答

將數據寫入Elasticsearch：EsHadoopSerializationException

我使用ELasticsearch 5.4和Hadoop 2.7.3並想從HDFS將數據寫入到blog.json Elasticsearch.My數據： {"id":"1","title":"git簡介","posttime":"2016-06-11","content":"svn與git的最主要區別..."} {"id":"2","title":"ava中泛型的介紹與簡單使用","posttim

0熱度

1回答

經由PySpark

插入在Elasticsearch陣列我有很多像這樣的情況下：實施例數據幀： from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("email", ArrayType(StringType()), Tr

1熱度

1回答

Spark +彈性搜索寫入性能問題

使用spark java查看對elasticsearch的低寫入次數。下面是使用13.xlarge機ES羣集配置 4 instances each have 4 processors. Set refresh interval to -1 and replications to '0' and other basic configurations required for better wr

0熱度

1回答

從elasticsearch-spark檢索指標

在ETL級聯作業結束時，我使用Hadoop metrics提取有關Elasticsearch攝取的度量標準，elasticsearch-hadoop使用Hadoop計數器公開。我想用Spark做同樣的事情，但是我沒有找到與使用Spark connector的指標有關的文檔。並不總是，但通常我們要在EMR中執行作業（Hadoop），因此Spark connector可能與使用Cascading連

3熱度

1回答

Elastisearch-Hadoop如何在火花程序中進行批量搜索

我正在寫一個基本上是字符串的RDD的火花程序。我需要做的是基本上創建一個查詢每個字符串和基於彈性搜索索引做查詢。所以基本上查詢會不同的字符串。我想用elasticsearch-hadoop來做搜索，所以我可以進行優化。該RDD可能很大，我尋找任何可能的優化例如RDD是列表[印度，IBM公司，Netflix，勒布朗詹姆斯]。我們將在所有這些術語上創建更多像這樣的搜索，並在索引維基百科上進行搜索並找

0熱度

1回答

是否有可能使用elasticsearch-hadoop/spark寫入帶有格式化日期的動態創建的Elasticsearch索引？

在獨立的spark中，我試圖從一個數據框寫入Elasticsearch。雖然我可以得到它的工作，但我無法弄清楚如何寫入格式爲'index_name- {ts_col：{YYYY-mm-dd}}'的動態命名索引，其中'ts_col'是一個日期時間字段在數據集中。我見過各種各樣的帖子說這種類型的語法應該可以工作，但是當我嘗試它時，我會收到包含在底部的錯誤。它似乎首先檢查在創建索引之前索引是否存在，但

0熱度

1回答

Zeppelin和Spark配置

我在本地主機上使用Spark（2.1.1）上的Zeppelin（0.7.1），並嘗試將一些配置值添加到我運行的作業中。具體來說，我試圖設置elasticsearch-hadoop的es.nodes值。我試着向解釋器配置中添加鍵值，但沒有在sc.getConf中顯示。添加到解釋器的「args」配置鍵中，「--conf mykey：myvalue」的值也沒有註冊。這不是火花解釋器配置應該做什麼？

0熱度

2回答

java.lang.NoSuchMethodError：scala.reflect.api.JavaUniverse.runtimeMirror

java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror; at org.elasticsearch.spark.serialization.ReflectionUti