mapper

0熱度

1回答

我實際上正在使用scala升降機。我需要用Mapper設置一個複合PK，並且從我在網絡中看到的（下面的鏈接）它不可能。我怎樣才能做到這一點？鏈接： How to create Composite-key for a Model in lift's mapper? https://groups.google.com/forum/?fromgroups#!topic/liftweb/p4MSTj4k

0熱度

1回答

能否在 '視圖模型' 持有 '的DomainModel' type屬性

在asp.net MVC 4，我有2個DomainModels 產品訂購和相關視圖模型 OrderDetailsViewModel 在我的「OrderDetailsViewModelMapper」映射文件，我手動映射這些2個DomainModels到我的視圖模型。映射器文件「OrderDetailsViewModelMapper」將調用我的存儲庫方法，該方法將訪問數據庫並在映射到存儲庫本身

0熱度

1回答

在MapReduce中如何在處理X記錄後停止Reducer

我正在使用Mapper加載具有執行時間和大量查詢的大量數據..我只需要查找1000個最昂貴的查詢，所以我將執行時間作爲映射器輸出的關鍵字。我使用1個減速器，只需要寫入1000條記錄，減速器停止處理。我可以有一個全球性的櫃檯和做如果（計數< 1000）{ context.write（鍵，值） } 但是，這仍然會加載記錄所有的數十億美元，然後不寫他們。我想要減速機在吐出1000條記錄後停止。通過

1熱度

3回答

Hadoop的：基於簇大小

讀通過的Hadoop所產生的日誌，我可以看到類似這樣的行可用的地圖插槽數.. 2013-05-06 16:32:45,118 INFO org.apache.hadoop.mapred.JobClient (main): Setting default number of map tasks based on cluster size to : 84 有誰知道這個值是如何計算的？如何在我的程

2熱度

1回答

如何使用org.apache.hadoop.mapreduce（new）API配置Hadoop MapReduce映射器輸出壓縮？

是否可以在新的mapreduce API上打開mapper輸出壓縮，如果可以，請問您可以指出如何操作？我看到很多基於hadoop.mapred.JobConf API的示例，但沒有一個用於mapreduce API。如果它不能通過new API配置我可以做些什麼來讓它工作？

0熱度

1回答

是爲失敗的地圖任務調用的cleanup（）方法？

是否調用了失敗的map任務的cleanup（）方法？如果是這樣，它如何確保'原子性'？在我的情況下，我準備了一些mapup中的統計信息，這些統計信息是在cleanup（）方法中寫入數據庫的。在這種情況下，如果映射器在執行輸入拆分的過程中失敗，那麼清理方法會將已處理的數據寫入數據庫？這將導致不正確的統計信息，因爲備用映射器嘗試也會再次寫入相同的數據。

0熱度

2回答

的類型必須實現繼承的抽象方法Reducer.reduce（對象，迭代器，OutputCollector，記者）

我是新來的Hadoop，這是我第一次的Hadoop項目。我試圖創建一個名爲WordMapper一個映射器類，但它拋出是下面的錯誤。類型WordMapper必須實現繼承的抽象方法Mapper.map（對象，對象，OutputCollector，記者） public class WordMapper extends MapReduceBase implements Mapper { p

1熱度

1回答

複製與螞蟻中的正則表達式匹配的文件

我無法複製某些與我的ant腳本中的模式相匹配的文件。我有以下幾點： <property name="IncludedLocales" value="de_DE|es_ES|fr_FR|it_IT|ja_JP" /> <copy todir="${dest}"> <fileset dir="${src}" includes="**/*.properties" />

1熱度

1回答

mapreduce是否產生與NDB模型兼容的數據存儲區變異操作

在我的Python AppEngine應用程序中，我有一個ndb類，我正在運行MapReduce作業以刪除一些不再需要的舊對象。類如下： class UserModel(ndb.Model): is_backup_object = ndb.BooleanProperty(default=False) etc. 而且MapReduce工作如下： from mapreduce

1熱度

2回答

有關在映射中混洗的查詢reduce

運行映射器的節點處理如何知道它必須向節點B發送一些鍵值輸出（運行減速器）&一些到節點B（運行另一個減速器）？ JobTracker是否存在reducer節點列表？如果是，它如何選擇節點來運行減速器？