elastic-map-reduce

0熱度

1回答

AWS - 如何在當前步驟中添加EMR步驟

我有一個運行一個步驟的EMR羣集 - 自定義JAR。我需要在運行時的第一步創建第二步，我該怎麼做？我知道我可以使用CLI做到這一點，但我怎樣才能使用java來完成它？ 感謝

java elastic-map-reduce amazon-emr 2014-08-27

---

1熱度

1回答

將S3中的大文件（〜6 GB）複製到Elastic MapReduce集羣的每個節點

原來，在引導操作中將大文件（〜6 GB）從S3複製到Elastic MapReduce集羣中的每個節點都沒有'規模好;管道只有這麼大，並且隨着＃節點變大，下載到節點的節點會受到限制。 我正在運行一個包含22個步驟的作業流程，並且這個文件可能需要8個。當然，我可以從S3複製到HDFS並在每一步之前緩存文件，但這是一個主要的速度殺手（並且可能影響可伸縮性）。理想情況下，作業流程將從每個節點上的文件開始

caching hadoop amazon-web-services amazon-s3 elastic-map-reduce 2014-05-21

---

1熱度

1回答

數據如何在MapReduce的datanodes中分佈？

我是新來的MapReduce，我有處理大量數據（記錄行）的任務。有一件事我應該用在我的映射器特定記錄的行號，然後減速機處理基於映射行號信息。 舉例來說，現在假設我有一個input.txt中，這是非常大的，每一行看起來是這樣的： 1. Melo, apple, orange 2. orange, perl 3. apple, banana, car ... 10000. Apple ...

hadoop mapreduce elastic-map-reduce 2014-05-22

---

2熱度

1回答

運行MR作業時出現「無法驗證數據的完整性」

我正在使用Amazon Elastic Map Reduce運行相對較大的MR作業。 我在小數據集上運行了大量的工作，沒有問題。 但是當試圖在一個大的數據集，我發現了以下異常運行： Error: com.amazonaws.AmazonClientException: Unable to verify integrity of data download. Client calculated co

hadoop amazon-web-services amazon-s3 mapreduce elastic-map-reduce 2014-05-24

---

2熱度

1回答

如何使用Python在Amazon EMR流在豬的UDF

豬0.12介紹流蟒蛇的UDF，但他們是實驗性的，所以他們需要的Hadoop 1. http://pig.apache.org/docs/r0.12.1/udf.html#python-udfs 然而，只有亞馬遜提供的AMI可以使用豬0.12 AMI 3.1.0，使用Hadoop的2.4，不Hadoop的1： http://docs.aws.amazon.com/ElasticMapReduce/l

python numpy apache-pig elastic-map-reduce ami 2014-09-04

---

1熱度

1回答

如果我使用-mapper cat而不是-mapper org.apache.hadoop.mapred.lib.IdentityMapper，Hadoop Streaming的性能會下降嗎？

我在嘗試使用org.apache.hadoop.mapred.lib.IdentityMapper作爲Hadoop Streaming 1.0.3中的-mapper參數時遇到了問題。 「貓」雖然工作;使用貓影響性能 - 特別是在Elastic MapReduce上？

hadoop hadoop-streaming elastic-map-reduce 2014-07-24

---

0熱度

2回答

如何在Amazon Elastic MapReduce（EMR）中導入本地Python包？

我有兩個Python腳本用於在Amazon Elastic MapReduce上運行 - 一個用作映射器，另一個用作reducer。我最近剛剛擴展了mapper腳本，需要一些我創建的本地模型，它們都生活在名爲SentimentAnalysis的包中。在S3上從本地Python包中導入Python腳本的正確方法是什麼？我試圖創建S3鍵來模擬我的文件系統，希望相對路徑能夠正常工作，但是可惜的是它沒有。

python amazon-web-services hadoop-streaming elastic-map-reduce 2014-07-25

---

0熱度

2回答

EMR上的Hadoop - 地圖任務不是並行

我已經通過AWS中的數據管道設置了EMR作業。這項工作是將S3中的CSV數據傳輸到DynamoDB。 我的數據大小爲400 MB。我設置了mapred.max.split.size = 134217728（即128 MB）。據此，我可以在監控圖中看到有3個地圖任務。但這些任務永遠不會平行運行。所以，完成400 MB需要43分鐘。任務的stderr日誌總是顯示順序運行的地圖任務。 我嘗試了2個核心節

hadoop elastic-map-reduce 2014-06-10

---

3熱度

2回答

Elasticsearch插件

我明白什麼是Elasticsearch，但對如何爲Elasticsearch編寫插件沒有任何線索。任何人都可以告訴我爲Elasticsearch編寫插件的指導原則。

lucene elasticsearch elastic-map-reduce 2014-06-13

---

0熱度

1回答

R Reducer在亞馬遜EMR中無法正常工作

我已經在R中完成了映射縮減代碼以在Amazon EMR中運行。 我的輸入文件格式： URL1 word1 word2 word3 URL2 word4 word2 word3 URL3 word1 word7 word2 我期待的輸出爲：URL是CONCAT用空格 word1 URL1 URL3 word2 URL1 URL2 URL3 word3 URL1 URL2 .. ... .. 但EMR

r hadoop mapreduce elastic-map-reduce emr 2014-06-26

---