emr

0熱度

1回答

使用EMR Web控制檯時，您可以創建集羣，並且AWS會自動創建名爲「ElasticMapReduce-master」的EMR託管安全組「&」ElasticMapReduce-slave「。你如何通過aws cli創建那些？我發現了aws emr create-default-roles但沒有aws emr create-default-security-groups。

0熱度

1回答

上次spark-submit完成（或失敗）後轉速下降+ xxx時間

我正在使用Amazon的EMR羣集，但未使用添加步驟API。例如，如果它閒置了3天，我想要一種關閉羣集的方式。如果我要構建它，我可能只需在集羣上運行一個歷史命令並查找最後的命令。有沒有更好的辦法？

3熱度

1回答

AWS Athena：'msck repair table`會產生費用嗎？

我在S3 ORC的數據，看起來像這樣： s3://bucket/orc/clientId=client-1/year=2017/month=3/day=16/hour=20/ s3://bucket/orc/clientId=client-2/year=2017/month=3/day=16/hour=21/ s3://bucket/orc/clientId=client-3/year=201

0熱度

1回答

如何在EMR任務/從節點上安裝配置單元？

我在EMR主節點上運行配置單元，但我需要在EMR任務/從節點上運行配置單元命令行。任何人都知道如何做到這一點？謝謝！

1熱度

1回答

EmrActivity的輸入/輸出 - AWS數據管道

我正在嘗試使用數據管道來運行Spark應用程序。我如何在我的Spark應用程序中訪問我爲EmrActivity指定的輸入/輸出（S3DataNode）？我的問題是與此類似 - https://forums.aws.amazon.com/message.jspa?messageID=507877 早些時候，我用來傳遞輸入和輸出參數的步驟星火應用。謝謝

0熱度

1回答

從Lambda同時提交EMR中的Spark作業

我的應用程序需要使用EMR火花作業實時處理數據。我使用的是Lambda的EMR的addJobFlowSteps API，但它本質上是順序的。是否有任何其他方式從本質上是併發的Lambda提交喬布斯到EMR？

0熱度

1回答

如何使用Hive讀取S3 XML文件查詢

我已經存儲在AWS S3存儲桶中的XML文件。我想提取XML元數據並加載到HDFS上的HIVE表中。有沒有任何工具可以幫助推廣這項活動？

2熱度

1回答

無法導入電子病歷mrjob

所以我想運行我mrjob但得到的第一行錯誤： ImportError: No module named mrjob.job 我發動工作，如下所示： python main.py --bootstrap-mrjob -v -r emr --emr-job-flow-id j-XXXXXXXXX ../data/data.txt 我也嘗試在我的mrjobs.conf中添加以下行： bootst

1熱度

1回答

Hive無法從EMR上的分佈式緩存中找到文件

我試圖在Hive中運行UDF，它基本上應該使用表中的值作爲另一個參數來掃描外部csv文件。查詢我使用： add jar s3://bucket_name/udf/hiveudf.jar; add FILE hdfs:///myfile/myfile.csv; CREATE TEMPORARY FUNCTION MyFunc AS '....udf.myUDF'; SELECT mydate

0熱度

1回答

EMR/PrestoDB上的多個MySQL目錄

我可以使用EMR上的presto-connector-mysql配置選項在我的EMR上創建一個名爲mysql的目錄。但是，我想連接到多個mysql數據源。添加第二個數據源到/etc/presto/conf/catalog，然後做一個restart presto-server是不完全正確的，因爲雖然我可以正確查詢MySQL的數據源和第二目錄顯示出來，查表有給出： Query 20170407_04