elastic-map-reduce

2熱度

1回答

我想從EMR中的分佈式緩存中對文件進行排序，但無法從EMR中的分佈式緩存中讀取文件。我的代碼在本地工作正常，但它給我emr的問題。這裏是我的代碼snippet- 把序列文件到分佈式的cache job.addCacheFile(new URI(status.getPath().toString())); 讀取路徑 - for (Path eachPath : cacheFilesLocal)

2熱度

1回答

在EMR中運行spark任務時發生IllegalAccessError

我正在嘗試運行訪問dynamodb的spark任務，並且實例化dynamoDb客戶端的舊方式已被棄用，現在建議使用客戶端構建器。好了，這在當地工作正常，但是當我部署到EMR我得到這個錯誤： Exception in thread "main" java.lang.IllegalAccessError: tried to access class com.amazonaws.services.dy

5熱度

1回答

如何將具有bucketBy/sortkey值的parquet文件保存到s3中？

它看起來像這樣就會因錯誤 df .write() .option("mode", "DROPMALFORMED") .option("compression", "snappy") .mode("overwrite") .bucketBy(32,"column").sortBy("column") .parque

1熱度

1回答

Amazon EMR MapReduce進度回滾？

嗨，我剛剛想出了一個奇怪的任務：我運行一個java-MapReduce作業與EMR。數據約爲1T，我使用了1個主站+8個從站。所有的實例都是r2.2xlarge。起初，一切都看起來不錯象下面這樣： INFO mapreduce.Job: map 0% reduce 0% INFO mapreduce.Job: map 1% reduce 0% INFO mapreduce.Job: m

0熱度

1回答

AWS EMR S3DistCp：auxService：mapreduce_shuffle不存在

我通過SSH連接到AWS EMR v5.4.0實例，我想調用s3distcp。 This link演示瞭如何建立電子病歷的步驟來稱呼它，但是當我運行它，我得到以下錯誤： Container launch failed for container_1492469375740_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxSe

1熱度

2回答

什麼時候可以爲hadoop Mapper啓動資源？

我有一個小的sqlite數據庫（郵政編碼 - >美國城市名稱），我有一個大的用戶S3文件。我想將每個用戶映射到與其郵遞區號關聯的城市名稱。我跟隨著名WordCount.java例子，但林不知道MapReduce的內部工作原理：是我的映射每S3輸入文件中創建一次？我應該在映射器創建時連接到sqlite數據庫嗎？我應該在映射器的構造函數中這樣做嗎？

0熱度

2回答

Elasticsearch跨多個索引和多種類型進行查詢

我是elasticsearch的新手。我正在使用AWS彈性搜索實例5.1.1。我有一個需求，我需要在Elasticsearch的請求正文中指定多個索引和類型以進行搜索操作，這有可能嗎？我們將讚賞以最簡單的方式做一個例子。在此先感謝！

2熱度

1回答

指定AWS EMR自定義jar應用程序中的其他jar

我試圖在EMR集羣上運行hadoop作業。它正在作爲我使用jar-with-dependencies的Java命令運行。這項工作從Teradata中提取數據，我認爲Teradata相關的jar也包含在jar-with-dependencies中。不過，我仍然得到異常： Exception in thread "main" java.lang.RuntimeException: java.lang.

1熱度

1回答

從Hadoop 1.0.3中的AWS EMR上的HDFS清除數據

由於各種原因，我在使用AMI 2.4.11/Hadoop 1.0.3的EMR上運行一些作業。我試圖通過添加額外的EMR步驟在作業之後運行HDFS清理。使用博託： step = JarStep( 'HDFS cleanup', 'command-runner.jar', action_on_failure='CONTINUE', step_args=['

0熱度

1回答

小寫響應，其中作爲大寫預計

我試圖用彈性搜索與Java中使用的方法來獲取數據 .addAggregation（條款（項）） JSON響應，我希望是 { 「鑰匙」：「TEST」 } ，但我得到了響應， { 「鑰匙」：「測試」 } 這是在較低的情況下，我想回應是因爲它是存儲。請幫助這裏