mapreduce

1熱度

1回答

我是初學者couchDB。我有數據如下： one:[{ "name":abc, "value":1 }, { "name":efg, "value":1 }, { "name":abc, "value":1 }, 我想獲得類似鑰匙的數量和獲得最大的。例如在我的情況下，「abc」是兩次。所以最大（降低功能）應該返回結

1熱度

1回答

使用MapReduce在圖中找到距離爲2的節點對

如何爲有向圖G =（V，E）編寫Mapper類和Reducer類。需要計算所有節點對（x，y），使得y可以在兩跳中從x到達，即存在使得（x，z）和（z，y）都在E中的節點z。這裏的x，y）可以是或可以不是在大腸桿菌輸入應當與由製表符分隔的節點ID的邊緣，例如： 1 2 0 1 3 2 2 3 4 1 ... 輸出應該節點對XY的列表通過長度精確爲2的路徑連接，例如每行一個： 1 3

1熱度

1回答

如何將外部庫添加到Hadoop map-reduce任務

我有MyClass.java來定義map-reduce任務。 MyClass.java包含mapper，reducer和main的定義。它工作正常，但如果我嘗試使用/添加外部jar，我有消息ClassNotFoundException。編譯我用命令： javac -classpath hadoop_library_path:my_library_path -sourcepath code_pat

2熱度

3回答

＃2使用正則表達式

我使用亞馬遜網絡服務做在MapReduce的一個項目劈裂字符串時，我有這樣的錯誤： FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.StackOverflowError at java.util.regex.Pattern$GroupHead.match(Pattern.java:46

0熱度

2回答

python中的MapReduce：os.environ [「map_input_file」]不能在map.py中工作

這是我第一次用python學習Hadoop MapReduce。我寫了一個map.py來獲取兩個文件的文件名，以瞭解如何連接兩個文件。這裏有兩個CSV文件： worksheet1.csv sno,name 1,name1 2,name2 3,name3 4,name4 worksheet2.csv sno,courseno,grade 1,1,80 1,2,90 2,1,82

0熱度

1回答

收集具有特定條件的嵌套級別不同的字段名稱

我有問題語句，其中我需要在「config.first.second」子級別的所有字段名稱，其中include字段至少爲一次。這是我的mongo集合對象。 [ { "_id" : ObjectId("560e97f4a78eb445cd2d75e5"), "config" : { "first" : { "second" : {

2熱度

1回答

無法使用CompositetextinputFormat在Mapside加入

我想實現Mapside加入使用CompositeTextInoutFormat。不過，我在Map reduce工作中遇到了以下錯誤，我無法解決這個問題。 1.在下面的代碼中，我在使用Compose方法時出現錯誤，並在設置inputformat Class時出現錯誤。錯誤如下所示。在類型CompositeInputFormat方法撰寫（字符串，類，路徑...）不適用於參數（字符串，類，路徑[]

2熱度

2回答

Python - 如何將目錄傳遞爲MapReduce輸入

0熱度

1回答

在執行Hadoop計數器的主線程中出現IllegalStateException

我已經使用Hadoop中的計數器來統計不同類型的LIC客戶。下面是我的代碼 - 地圖 import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.IntWritable; import o

6熱度

1回答

如何合併Couchbase中的數據與地圖縮小？

我的應用程序將多個文檔類型存儲在同一個存儲桶中。我知道這不是一個好習慣，但是我可以在我的服務器上創建多少個桶，並且目前還沒有辦法繞過它。這些文檔的前綴是它們的類型，所以當我得到一個文檔時，我只需要連接前綴和id來獲得密鑰，我可以做一個關鍵的查找。我需要創建一個報告，其中來自多個文檔類型的信息。我的地圖看起來是這樣的： function(doc, meta) { var getSte