elasticsearch-hadoop

0熱度

1回答

我正在更新一些Spark 1.6代碼到2.0.1，我遇到了一些使用map的問題。我看到其他問題，像encoder-error-while-trying-to-map-dataframe-row-to-updated-row這樣的問題，但我還沒有能夠得到這些技術的工作，他們似乎荒謬的下面的這種情況。 val df = spark.sqlContext.read.parquet(inputFile)

0熱度

1回答

Elasticsearch 5.0和Elasticsearch星火連接器 - 什麼是正確的行家假象

在編寫應用程序在運行Apache星火1.6使用Elasticsearch星火連接器，文件在（https://www.elastic.co/guide/en/elasticsearch/hadoop/5.0/install.html#_minimalistic_binaries）說，使用maven的假象 <dependency> <groupId>org.elasticsearch</groupId

1熱度

1回答

星火Web UI的「走在SerDeUtil.scala：201」的解釋

我創建使用elasticsearch-的Hadoop連接器在Python（進口pyspark）從Elasticsearch將數據裝入一個RDD星火： es_cluster_read_conf = { "es.nodes" : "XXX", "es.port" : "XXX", "es.resource" : "XXX" } es_cluster_rdd = sc

0熱度

1回答

Elasticsearch hadoop配置批量批量大小

我讀過可能的Stackoverflow es-hadoop/es-spark項目使用批量索引。如果它是默認的批量大小是根據BulkProcessor（5Mb）。有沒有任何配置可以改變這一點。我在我的代碼中使用JavaEsSparkSQL.saveToEs(dataset,index)，我想知道可用的配置是否可用來調整性能。這也與數據集的分區有關。它們的配置頁 es.batch.size.byte

0熱度

1回答

Pyspark將rdd轉換爲空值的數據幀

我正在使用pyspark（1.6）和elasticsearch-hadoop（5.1.1）。我從elasticsearch得到我的數據轉換成RDD格式通過： es_rdd = sc.newAPIHadoopRDD( inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat", keyClas

0熱度

1回答

如何通過使用Elasticsearch Hadoop獲得術語向量

我正在使用ElasticSearch-Hadoop API。我試圖通過使用以下星火代碼獲取_mtermvector： val query= """_mtermvectors { "ids" : ["1256"], "parameters": { "fields": [ "tname" ], "term_statist

1熱度

1回答

Elasticsearch的Spark（Java）

我正在測試從csv加載數據並將其保存在Elasticsearch中，但我在使用spark時將我的RDD集合保存在Elasticsearch中遇到了一些麻煩。提交作業時引發此錯誤： Exception in thread "main" java.lang.NoClassDefFoundError: org/elasticsearch/spark/rdd/api/java/JavaEsSpark

0熱度

1回答

從Spark中彈性搜索中插入地理數據

我嘗試上傳ES中緯度和經度字段的RDD。我想使用geo_point類型在地圖上繪製它們。我試圖爲每個文檔創建一個「位置」字段，其中包含像「12.25，-5.2」這樣的字符串或經緯度/長度爲兩個雙精度的數組，但ES不會將它們檢測爲geo_point。插入數據之前，索引不存在。我該如何告訴ES該位置是geo_point？與elasticsearch-hadoop的LIB當前代碼來存儲： myRDD

1熱度

1回答

如何從Apache Spark作業中將空字符串寫入彈性搜索時解決錯誤？

當我使用功能myRDD.saveToEs執行我的Scala應用程序（我也嘗試從數據框中保存saveToE）時拋出異常。我的ES版本是2.3.5。我正在使用Spark 1.5.0，所以也許有一種方法可以在我不知道的SparkContext中進行配置。堆棧跟蹤爲如下 - Exception in thread "main" org.apache.spark.SparkException: Job

0熱度

1回答

elasticsearch-hadoop如何創建兩個基於不同ES羣集的RDD

我需要從兩個不同的ES羣集中加入兩個Rdds，但是我發現我可以基於一個ES羣集創建一個SparkConf和SparkContext。例如，代碼如下： var sparkConf: SparkConf = new SparkConf() sparkConf.set("es.nodes", "192.168.0.22:9200") val rdd1=sc.esRDD("userIndex1/t