elastic-map-reduce

8熱度

3回答

使用Amazon的「maximizeResourceAllocation」設置的Spark + EMR不使用所有內核/核心

我正在爲Spark使用亞馬遜特定的maximizeResourceAllocation標誌（如記錄here）運行EMR集羣（版本emr-4.2.0）。根據這些文檔，「該選項計算核心節點組中節點上執行程序可用的最大計算和內存資源，並使用此信息設置相應的spark-defaults設置」。我使用m3.2xlarge實例爲工作節點運行羣集。我爲YARN master使用了一個單獨的m3.xlarge

0熱度

1回答

基於點擊流數據的訪問者/用戶分析？

我們建立了一個rails 4網站，並將ES用於我們的搜索旅行/住宿引擎。我們爲點擊流數據創建了單獨的ES索引，並且我們存儲了非登錄（session_id）和登錄用戶（user_id）的數據。我們現在使用存儲的數據來顯示網站上的查看和收藏夾。現在我希望基於點擊分析來聚集訪問者（非和登錄）在指定的羣集中。羣集可以是「預算」，「夫妻」，「家庭」等。我想用用戶/會話ID配置文件「饋送」這些羣集，以便我

0熱度

1回答

獲取AWS EMR中任務實例組實例數量的API

我想獲取AWS EMR中任務實例組實例的數量。爲此，我使用Cloudwatch檢查每個任務實例組實例的心跳。但我想，最後EMR是一個使用hadoop的框架，而hadoop的主人必須擁有活動任務節點的信息。任何人都可以告訴我元數據鏈接（或任何文件位置）來獲取此信息？

0熱度

1回答

MapReduce以文件名作爲關鍵字，內容作爲值，很多小文件

我看過FileInputFormat where filename is KEY and text contents are VALUE,How to get Filename/File Contents as key/value input for MAP when running a Hadoop MapReduce Job?和Getting Filename/FileData as key/

1熱度

1回答

如何手動進行AWS EMR步驟失敗

我遇到了一個問題，並想到了一個問題，我沒有找到一個好的答案。那就是，我如何故意使AWS EMR步驟失敗？我有一個Spark Scala腳本，作爲Spark步驟添加一些命令行參數，腳本的輸出寫入S3。但是，如果在讀取和處理命令行參數時出現問題，則會跳過該腳本的邏輯並結束腳本。但是對於EMR這是正常的行爲，它不知道沒有輸入if塊。並且在「失敗」運行後，步驟狀態仍然變爲「完成」，並且看起來成功而沒

0熱度

1回答

Hadoop訪問控制例外：權限

Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/mnt/var/lib/hadoop/tmp/2204827016_Attaching_UU_Codes_5C4141BF22014C8FAD3CD045

2熱度

1回答

AWS EMR PySpark連接到mysql

我試圖通過pyspark使用jdbc連接到mysql。我能夠在EMR之外做到這一點。但是當我嘗試使用EMR時，pyspark無法正確啓動。，我在我的機器 pyspark --conf spark.executor.extraClassPath=/home/hadoop/mysql-connector-java-5.1.38-bin.jar --driver-class-path /home/ha

3熱度

1回答

More_like_this查詢與過濾器

我有1702文件索引在彈性搜索，其中有類別作爲其中一個領域，它也有一個名爲SequentialId字段。我最初是從文檔1和文檔850之間提取類別爲1.1的文檔，如下所示。 **POST testucb/docs/_search { "size": 1702, "query": { "bool": { "must": [ {"matc

0熱度

1回答

Gobblin Map-reduce作業在EMR上成功運行，但s3中沒有輸出

我正在運行gobblin，使用3節點EMR集羣將數據從kafka移動到s3。我在hadoop 2.6.0上運行，並且我還針對2.6.0構建了gobblin。看起來好像map-reduce作業成功運行。在我的hdfs我看到指標和工作目錄。指標有一些文件，但工作目錄爲空。 S3存儲桶應該有最終的輸出，但沒有數據。並在最後它說輸出任務狀態路徑/ gooblinOutput /工作/ GobblinK

0熱度

1回答

EMR羣集的主/從安全組所需的最小出站規則集是多少？

我正在嘗試使用Amazon Elastic MapReduce（EMR）來分析受控訪問基因組數據的管道，它將有助於瞭解EMR羣集的主從安全組所需的最小出站規則集。我確信它不同於地區，並且在http://docs.aws.amazon.com/general/latest/gr/aws-ip-ranges.html給出的IP範圍可能包含它們，但是確切地知道我們應該擔心哪些CIDR塊將是很好的。看起來