amazon-emr

0熱度

3回答

我正在EMR上運行Spark工作，但需要創建檢查點。我嘗試使用S3，但得到這個錯誤消息 17/02/24 14:34:35 ERROR ApplicationMaster: User class threw exception: java.lang.IllegalArgumentException: Wrong FS: s3://spark- jobs/checkpoint/31d57e4f-

0熱度

1回答

使用Lambda啓動和關閉羣集

我正在嘗試使用計劃的lambda函數來定期啓動和拆卸EMR羣集。我想通過CloudFormation來做這件事，也許使用lambda啓動一個EMR集羣。我在網上找到的所有材料都使用CloudFormation來啓動lambda函數，但我想用其他方法。有人有一些想法，或可以指向我一些正確的資源？非常感謝你。

1熱度

1回答

在AWS EMR中下載nltk會導致'[Errno 28]設備上沒有剩餘空間'

我在Amazon AWS EMR羣集中運行以下代碼時出現'No Space'錯誤。 import nltk nltk.download('all') 我檢查在命令行的內存，下面是可用內存available memory in the cluster的屏幕截圖。請迎接我。

0熱度

1回答

亞馬遜會收取羣集的啓動時間和終止時間

當我在Amazon EMR上創建羣集時，啓動需要一些時間。如果我在集羣創建之前終止集羣，我是否會收取費用？集羣也需要一些時間來終止。假設我在58分鐘時終止羣集，並且羣集需要5分鐘才能終止。我收取1小時或2小時的費用嗎？

3熱度

1回答

使用JsonSerDe時啓動令牌未找到錯誤

我想從S3導入JSON數據，並在做出一些查詢後，再次將輸出以JSON格式導出爲S3。但是，我收到「org.apache.hadoop.hive.serde2.SerDeException：java.io.IOException：在預期的位置未找到啓動標記」 EMR羣集上配置單元時出現錯誤。爲了理解問題是什麼，我簡化了Hive腳本和JSON數據，但它一直給出相同的錯誤。我怎麼解決這個問題？集羣配置

0熱度

2回答

MapReduce：增加併發映射器任務的數量

我正在使用AWS EMR運行映射縮減作業。我的輸入集包含100萬個大約15KB的文件。由於輸入文件非常小，所以這將導致大量的映射器。因此，我將s3塊大小更改爲20KB，並使用了5個r3.2xlarge實例，但運行的併發任務數量仍然只有30個。不應該在減少塊大小或減小塊大小後立即運行更多併發映射器，每個映射器採用的內存仍然相同？我怎麼能限制每個映射器的內存使用量或增加的同時映射任務的數量？目前預計

0熱度

1回答

在AMAZON EMR上運行紗線應用程序

我想在AMAZON EMR上運行雅虎項目的紗線上的紗線。在EMR上，主管本地目錄無法創建。我想也許連接問題或沒有權限。你能給我一些建議嗎？感謝您的幫助。 2017年3月1日11時38分02秒的主管[ERROR]上服務器MK-監java.io.IOException的初始化錯誤：無法創建目錄的/ mnt /紗線，/ mnt1上/紗線/ usercache/yarn/appcache/appli

2熱度

1回答

Spark＆Parquet查詢性能

我正在運行emr-5.2.0，並且在S3中存儲了一年的數據，作爲Parquet按日劃分。查詢一個月時，我期望Spark只能將一個月的數據加載到內存中。但是，我的羣集內存使用情況看起來像我正在加載全年的1.7TB數據。我假設我可以加載完整數據湖這樣 val lakeDF = spark.sqlContext.read.parquet("s3://mybucket/mylake.parquet")

0熱度

1回答

如何使用AWS CLI使用由Amazon EMR管理的安全組> = 1.11.59？

http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html說，在節標題「指定使用AWS CLI亞馬遜EMR管理安全組」：當我運行使用這些參數的aws emr create-cluster命令 Use the create-cluster command with the --emr-managed-ma

0熱度

1回答

什麼是aws cli命令來創建默認的EMR託管安全組？

使用EMR Web控制檯時，您可以創建集羣，並且AWS會自動創建名爲「ElasticMapReduce-master」的EMR託管安全組「&」ElasticMapReduce-slave「。你如何通過aws cli創建那些？我發現了aws emr create-default-roles但沒有aws emr create-default-security-groups。