mapreduce

0熱度

2回答

何時應該在Hadoop中使用OutputCollector和Context？

在this文章中，我發現這個詞映射碼數： public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1);

java hadoop mapreduce 2017-10-07

---

-1熱度

1回答

classOf [TextOutputFormat]需要Scala中的參數，但在沒有任何參數的情況下可以正常工作（TextOutputFormat.class）

在Java中編寫簡單的Map Reduce程序時，下面的代碼行可以正常工作。 job.setOutputFormatClass(TextOutputFormat.class) 但在Scala中同樣的事物正在等待參數。 job.setOutputFormatClass(classOf[TextOutputFormat[<param>, <param>]]) 它爲什麼表現不同？ 有什麼我失蹤

java scala hadoop mapreduce 2017-10-07

---

0熱度

2回答

sqoop中的減速器數

sqoop中的多少個默認映射器和減速器？ （4映射器，0-縮減器）。 如果在sqoop import中使用--where或--query條件，那麼會有多少個reducer？ 在本地羣集是表示使用--where or --query condition

mapreduce sqoop 2017-10-08

---

0熱度

1回答

的Map Reduce字數程序給出「類未發現異常」

我的Hadoop版本是：2.8.1 我試圖運行映射縮減例子是Apache Hadoop 2.8.0 字計數的源代碼是下方。（同在Apache的Hadoop 2.8.0例子給出） import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; i

hadoop mapreduce hdfs word-count 2017-10-08

---

1熱度

2回答

YARN和MR2有區別嗎？

我有點困惑YARN和MR2之間。他們一樣嗎？我已經看到YARN作爲在某些文檔中運行分佈式應用程序的平臺，而MapReduce就是這樣的分佈式應用程序，那是什麼意思？這是一個由程序員構建的MapReduce應用程序（例如：wordcount程序）嗎？ 我再次看到「編寫自己的YARN應用程序」，那是什麼意思？一個wordcount程序屬於哪個類別，一個YARN應用程序或一個MR2應用程序？ 請相關問題

hadoop mapreduce yarn hadoop2 2017-10-09

---

0熱度

1回答

確定代碼中Hadoop錯誤的原因，因爲標準日誌尚未確定：文件拆分，容器內存或塊大小

現在我已經通過log4j日誌試圖確定我的Hadoop作業崩潰的原因。 基本上，作業試圖做的是在底層機器上發出一個命令，並收集該命令的輸出 - 此刻，所有這些步驟都發生在一個地圖作業中（後面我會嘗試減少這些個別產出的總和）。 我遇到的行爲是對但─一定數量的產生到BufferedReader輸出，爲他們的conversation- 28着想，一切工作正常，工作幾乎立即結束，但當我增加編號爲29，地圖作

hadoop mapreduce jvm containers 2017-10-09

---

2熱度

1回答

認知複雜性及其對代碼

W.r.t對java項目之一的影響，我們最近開始使用SonarLint。代碼分析的輸出顯示了太多關鍵代碼異味警報。 Critical code smell: Refactor this method to reduce its Cognitive Complexity. 我聽說過圓形複雜性，但不是關於認知複雜性。 我對該羣組的問題： 認知複雜性是行業標準嗎？ 除了可讀性和可維護性之外，認知複雜

java algorithm mapreduce refactoring sonarlint 2017-10-10

---

0熱度

1回答

轉換鑲木FIXED_LEN_BYTE_ARRAY到本地Java地圖上DECIMAL減少

我的基礎數據使用HIVE輸出格式（org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat） 嘗試使用以讀取該數據寫入本地Java地圖降低 byte[] b = value.getBinary(value.getType().getFieldIndex(field), 0).getBytes(); HiveDecimal hd

java hadoop hive mapreduce parquet 2017-10-10

---

1熱度

1回答

豬錯誤：解析查詢失敗

我正在嘗試編寫一個過濾器UDF，它將輸入作爲元組，並返回元組，但是當我在Gruntt shell中定義函數時，我得到錯誤消息解析失敗，我在哪裏做錯了這裏 REGISTER /home/filterUDF.jar; DEFINE filDist 'FilterDistrictUdf/FilterDistrict' package FilterDistrictUdf; import ja

java hadoop mapreduce apache-pig grunt-shell 2017-10-11

---

2熱度

1回答

將Apache Spark中的列按列分區到

有用例，我們要從S3中讀取具有JSON的文件。然後，基於特定的JSON節點值，我們希望將數據分組並將其寫入S3。 我能夠讀取數據，但無法找到關於如何根據JSON密鑰對數據進行分區然後上傳到S3的很好示例。任何人都可以提供任何示例或指向我的教程，可以幫助我用這個用例嗎？ 我有我的數據的架構創建數據幀後： root |-- customer: struct (nullable = true) |

scala hadoop apache-spark amazon-s3 mapreduce 2017-10-11

---