mapreduce

-1熱度

3回答

javascript將第一個數組值替換爲第二個數組值。第一個數組長度是2，第二個長度是7

我有兩個數組a和b，我需要用a替換數組b。 a= [1,2]; b=[1,2,3,4,5,6,7]; 預期的輸出應該是這樣的 [1,2,1,2,1,2,1]

2熱度

1回答

我想單元測試使用MRUnit的Mapper程序（來自Hadoop：權威指南，第153頁，部分：使用MRUnit編寫單元測試：Mapper）。我使用的IntelliJ IDEA，它是示出了方法的誤差 new org.apache.hadoop.mrunit.MapDriver<>().withMapper(myMapper) 該錯誤消息表示， withMapper（org.apache.hado

1熱度

1回答

C＃中的MongoDB MapReduce不會返回任何結果

我想從我的C＃代碼運行MongoDB MapReduce，很不幸，我無法獲得任何結果。如果我直接在MongoDB shell中運行相同的MapReduce，一切正常。任何幫助，將不勝感激。下面是關於我的問題的數據： C＃驅動程序版本：2.4.4 MongoDB的版本：3.4.5例輸入文檔的 'DocInput' { "_id" : ObjectId("59c52b3cb602cb6

2熱度

1回答

Hadoop map/reduce shows錯誤：com.mongodb.connection.SslSettings $ Builder.context（Ljavax/net/ssl/SSLContext;）

我經常運行map/reduce作業，最近我得到了這樣的日誌： 17/09/27 10:38:03 INFO mapreduce.Job: map 27% reduce 0% 17/09/27 10:38:07 INFO mapreduce.Job: Task Id : attempt_1494368272823_5583_m_000014_0, Status : FAILED Error: com

0熱度

1回答

查找修改，並插入到MongoDB中的同一集合

任何一個可以幫我在下面情況下MongoDB中：查找文檔從集合A的條件（可以說我們得到了 2個文件）修改這兩個文檔，然後插入到相同的集合A中，不會打擾原始2個文檔。聚合不會支持合併到同一個集合中，我通過簡單的JavaScript獲取它，但我們需要在MapReduce中。下面是我簡單的腳本： db.col1.find({ "field1": "value" }).forEach(f

0熱度

1回答

如果我只是需要將記錄插入到數據庫中，我需要還原器嗎？

我在S3上有大量的日誌文件需要並行處理。我可能會丟棄我不需要的記錄，但除此之外，我只是將批次中的記錄插入到數據庫中。我不一定需要多個鍵/值對，所以我將單個鍵映射到所有記錄並將其傳遞給reducer。減速器只會對記錄進行批處理並進行數據庫調用。而不是在mapper中完成這一切是可行的？

-1熱度

1回答

如何從mapreduce中的文本文件拆分字符串（|）？

我想寫一個mapreduce程序，它說要找到每個售出的電視機的發生。 I/P EX- 三星|的Optima | 14 |中央邦| 132401 | 14200 賣onida |清醒| 18 |北方邦| 232401 | 16200 赤|體面| 16 |喀拉拉邦| 922401 | 12200 熔岩|注意| 20 |阿薩姆邦| 454601 | 24200 禪|超級| 14 |馬哈拉施特拉邦| 61

0熱度

1回答

階段1：HDFS讀取：0 HDFS寫入：0失敗

我安裝配置單元與教程： https://www.edureka.co/blog/apache-hive-installation-on-ubuntu 和其他一些。創建數據庫，表，負載數據是更迭，但另一種是誤差的map/reduce任務 hive> create database mydb; enter code here OK Time taken: 0.366 seconds hive

0熱度

1回答

控制Python輸出到控制檯

我正在使用Hadoop/MapReduce構建電影推薦。現在我只用python來實現MapReduce過程。所以我基本上做的是分別運行每個映射器和減速器，並使用從映射器到減速器的控制檯輸出。我遇到的問題是python在終端輸出值作爲字符串，所以如果我用數字處理數字打印爲字符串，這使得難以簡化過程，因爲它的轉換增加了更多的服務器負載。那麼我該如何解決這個問題，我正在尋找使用純Python和沒

0熱度

1回答

運行時錯誤在hdfs上執行jar文件

我應該做些什麼？在hadoop系統上運行這個jar文件時，我有一個錯誤信息。的hadoop罐子units.jar /input_dir/sample.txt/OUTPUT_DIR /導致螺紋異常「主」拋出java.lang.ClassNotFoundException： /input_di /樣品/在java.lang.Class.forName0 TXT（本地方法）在org.apach