emr

1熱度

1回答

夥計們，以下Python腳本與 job state = FAILED 和終止 Last State Change: Access denied checking streaming input path: s3n://elasticmapreduce/samples/wordcount/input/ 代碼： import boto import boto.emr from boto.

0熱度

1回答

mrjob - 源目錄

的自動焦油我使用mrjob創建了亞馬遜電子病歷工作。我的MapReduce工作從一個共同的輔助類繼承，使我的Apache日誌我解析容易，I類是從在若干MapReduce作業共同繼承的解析，所以這是我的文件結構： __init__.py count_ip.py (mapreduce job) common/apache.py (base class count_ip.py inherits fr

1熱度

1回答

使用R包時Segue連接到EMR我收到一個S3 404錯誤

我想使用簡單包Segue（https://code.google.com/p/segue）在EMR上運行我的R代碼。我可以連接，但是當我嘗試執行函數時，我得到一個與S3（下）相關的404錯誤。任何人都可以推測這意味着什麼，或者我可以如何解決它？我不知道S3和EMR的經驗。謝謝！ #Setup R Environment setwd("/home/jmiller/") install.pac

2熱度

2回答

s3distcp錯誤「參數‘--arg’不匹配」

我試圖使用s3distcp爲EMR工作，得到這個異常： Exception in thread "main" java.lang.RuntimeException: Argument --arg doesn't match. at emr.hbase.options.Options.parseArguments(Options.java:75) at emr.hbase.o

0熱度

1回答

腳本來解壓python 2.7在amazon EMR節點上的引導程序

我有Python腳本需要版本2.7。在引導時使用bash腳本在EMR上安裝python 2.7很容易，但時間太長。建議AWS支持我在本地編譯Python 2.7，tar安裝並在引導時解壓縮（bootstrapping只能運行有限的時間）。聽起來很簡單。第一個挑戰是如何打包python 2.7安裝，第二個是如何在EMR從節點上正確解壓（不通過apt-get install或配置/ make/ma

0熱度

2回答

數據文件應如何包含在EMR上的mrjob中？

我正在嘗試在亞馬遜的EMR上運行mrjob。我使用內聯運行器在本地測試了該作業，但在亞馬遜上運行時失敗。我將故障範圍縮小到了我對外部數據文件zip_codes.txt的依賴。如果我使用硬編碼的郵政編碼數據運行沒有依賴關係，它工作得很好。我試圖使用上傳文件參數包含必要的數據文件。當我看到S3時，該文件確實在那裏，但顯然有些事情出錯了，所以我無法在本地訪問它。這裏是我的mrjob.conf文件：

1熱度

1回答

亞馬遜網絡服務（AWS）EC2，EMR，S3

我一直在學習aws。我想確認一下所學的全貌至今：我拿一個普通的PC作爲比喻來此： ** EC2類似算術和 EMR類似於PC的邏輯單元PC的OS S3類似PC的硬盤** ，如果我錯了請糾正我解釋一下我的AWS EC2，EMR，S3與比較到另一個系統/服務等（請不要直接到亞馬遜文件鏈接/導師IALS我已越過所有這些，我想確認我的理解）提前

4熱度

2回答

EMR vs EC2/Hadoop on AWS

我知道EC2比EMR更靈活但更多工作。然而，就成本而言，如果使用EC2，可能需要將EBS卷附加到EC2實例，而AWS只是從S3流入數據。因此，在AWS計算器上計算數字，即使對於EMR，也必須爲EC2支付，EMR變得比EC2便宜？我錯了嗎？當然EC2與EBS的速度可能更快，但它是值得的成本？感謝，馬特

2熱度

1回答

錯誤：在等待ssh時輸入完成的工作流程

我剛開始練習AWS EMR。我有一個示例字數應用程序設置，運行並從Web界面完成。遵循指南here，我設置了命令行界面。所以當我運行命令： ./elastic-mapreduce --list 我收到 j-27PI699U14QHH COMPLETED ec2-54-200-169-112.us-west-2.compute.amazonaws.comWord count

0熱度

1回答

在執行AWS EMR中的自定義WordCount jar時出錯

您好我正嘗試在AWs EMR上執行自定義WordCount jar。我的單詞計數jar工作正常，因爲我試圖將它作爲沒有工作參數的步驟添加並且它正在成功運行。我的問題是當我用工作參數運行它時。在我的S3我有2個文件夾 Jar location -> s3n://word-count123/WordCount.jar jar Arguments ->s3n://word-count123/inp