amazon-emr

0熱度

1回答

我有一個AWS IoT規則將傳入的JSON發送到Kinesis Firehose。從我的物聯網發佈的JSON數據是全部在一行上 - 例如： {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} 在管理界面的IOT測試「測試」部分允許你發佈的消息，默認爲以下（注格式化多-line JSON）： { "message":

0熱度

1回答

Apache Zeppelin足夠穩定，可用於生產

我正在使用AWS EMR集羣。我一直在試驗Spark Drivers和Apache Zeppelin Rest API以運行作業。我已經與齊柏林飛艇一起執行了幾百次特別工作，並沒有任何顧慮。有鑑於此，我正考慮在生產中使用Zeppelin Rest API。將使用Rest API提交作業。有沒有人在生產中遇到Zeppelin的穩定性問題？

3熱度

1回答

AWS Athena：'msck repair table`會產生費用嗎？

我在S3 ORC的數據，看起來像這樣： s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/ s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/ s3://bucket/orc/clientId=client-3/year=201

2熱度

3回答

避免使用hadoop（EMR）在S3中創建_ $文件夾$鍵

我正在AWS數據管道中使用EMR活動。此EMR活動正在EMR集羣中運行配置單元腳本。它將發電機DB作爲輸入並將數據存儲在S3中。這是EMR活動 s3://elasticmapreduce/libs/script-runner/script-runner.jar,s3://elasticmapreduce/libs/hive/hive-script,--run-hive-script,--hive

1熱度

1回答

EmrActivity的輸入/輸出 - AWS數據管道

我正在嘗試使用數據管道來運行Spark應用程序。我如何在我的Spark應用程序中訪問我爲EmrActivity指定的輸入/輸出（S3DataNode）？我的問題是與此類似 - https://forums.aws.amazon.com/message.jspa?messageID=507877 早些時候，我用來傳遞輸入和輸出參數的步驟星火應用。謝謝

4熱度

1回答

EMR Zeppelin消除DepInterpreter

我在emr-5.4.0羣集上運行zeppelin 0.7.0。我使用默認設置啓動羣集。 EMR不配置%spark.dep解釋器。我從下面編輯的文件/etc/zeppelin/conf/interpreter.json： "2ANGGHHMQ": { "id": "2ANGGHHMQ", "name": "spark", "group": "spark",

2熱度

1回答

無法從EMR中的分佈式緩存中讀取序列文件

我想從EMR中的分佈式緩存中對文件進行排序，但無法從EMR中的分佈式緩存中讀取文件。我的代碼在本地工作正常，但它給我emr的問題。這裏是我的代碼snippet- 把序列文件到分佈式的cache job.addCacheFile(new URI(status.getPath().toString())); 讀取路徑 - for (Path eachPath : cacheFilesLocal)

0熱度

1回答

如何在更新boostrap操作時在AWS EMR上重新運行引導操作？

我需要在EMR集羣和AFAIK上安裝一些python軟件包，當創建集羣時，我可以在EMR的引導操作中記下一些pip install blabla...命令，並且在爲集羣分配機器時將運行這些安裝命令。好吧，如果現在創建羣集，然後我需要安裝一些其他未包含在引導操作中的新包？我沒有發現這種情況下的任何方法，我是否需要使用新的引導操作重新創建新的羣集？

2熱度

1回答

在EMR中運行spark任務時發生IllegalAccessError

我正在嘗試運行訪問dynamodb的spark任務，並且實例化dynamoDb客戶端的舊方式已被棄用，現在建議使用客戶端構建器。好了，這在當地工作正常，但是當我部署到EMR我得到這個錯誤： Exception in thread "main" java.lang.IllegalAccessError: tried to access class com.amazonaws.services.dy

1熱度

1回答

星火與EMR

OpenBLAS我不斷收到嘗試在EMR實例運行在星火2.1.0的MlLib ALS算法時，臭名昭著的警告： WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS WARN BLAS: Failed to load implementation from: com.githu