mapper

0熱度

1回答

標題是也許沒有說清楚過載的方法，我會嘗試在一個例子來說明：我有一個自定義的DTO映射器替換AutoMapper，和當時需要他們兩人的工作。它有一個自定義實現使用它，否則回退到AutoMapper。自定義映射器看起來是這樣的： public static class CustomMapper { public static Entity1DTO Map(Entity1 source)

1熱度

2回答

在Android上兼容對象映射器的對象

我正在尋找一個Android對象映射器的對象。這完全是關於Java Bean到Java Bean複製的自動化，以便每個名稱爲xyz的字段將匹配另一個類中的字段xyz。我試過已經在Java中的每個人 http://www.javacodegeeks.com/2013/10/java-object-to-object-mapper.html 但是沒有一個是Android可編譯的，你有什麼想法嘗試什麼？

0熱度

1回答

爲什麼減少輸入記錄與減少輸出記錄不同？

我嘗試在庫dumbo中使用python中的mapreducer。下面是我的實驗測試代碼，我希望我可以接收從mapper到reducer輸出的所有記錄。 def mapper(key, value): fields = value.split("\t"); myword = fields[0] + "\t" + fields[1] yield myword, val

0熱度

1回答

在鍵的類型不匹配從圖：預期org.apache.hadoop.io.Text，接收org.apache.hadoop.io.LongWritable

package Sort; import java.io.IOException; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.ap

0熱度

1回答

如何設置hadoop中Map任務的數量Job class

我有一個問題，通過Java將mappers的數量設置爲1。我正在使用作業和配置類。我知道我們可以通過mapred.map.tasks和舊的棄用API來設置減速器的數量。有什麼方法可以指定使用Job和配置類。我試圖通過增加使用FileInputFormat.setMinInputSplitSize(FullFilesize) 輸入文件分割大小，但，我想知道我們是否有新的API中的任何相當於mapr

0熱度

2回答

輸入分配Hadoop中

映射器我的問題是，不MapReduce框架（如Hadoop實現），指定的輸入，映射器映射作業開始，或者是在運行時之前完成？也就是說，假設我有一些輸入i，和機器m_1,m_2 .. m_k。這些機器不需要同樣的供電，有些機器可能比其他機器具有更好的性能（CPU，內存）。如果主節點將映射器的輸入拆分爲映射器任務，或者至少將輸入分配給特定映射器節點，則可能會出現某些機器（更強大的機器）可以完成其工作

0熱度

1回答

增量更新使用SQOOP將數據追加到表

我試圖從SQLServer的追加新數據使用以下命令 sqoop import --connect 'jdbc:sqlserver://10.1.1.12;database=testdb' --username uname --password passwd --table testable --where "ID > 11854" --hive-import -hive-table hivedb.

0熱度

2回答

輸入分割的數量等於映射器的數量？

我正在處理與地圖的一個文件減少文件大小爲1GB，我在HDFS中的默認塊大小爲64 MB，因此在這個例子中有多少輸入拆分，有多少映射器？

0熱度

1回答

意外多次執行映射器打算運行一次

我試圖寫一個非常簡單的工作，只有1個映射器，沒有reducer將一些數據寫入hbase。在映射器中，我試圖簡單地打開與hbase的連接，將幾行數據寫入表中，然後關閉連接。在作業驅動程序中，我使用JobConf.setNumMapTasks（1）;和JobConf.setNumReduceTasks（0）;指定只執行1個映射器而不執行Reducer。我還在jobConf中將Reducer類設置爲Id

0熱度

1回答

hadoop mapreduce只執行一個映射器

我正在運行map reduce任務。無論文件的大小（70 MB，200 MB，2.5 GB）只運行一個映射器。塊大小爲128MB。任何人都可以幫助找出可能是什麼原因？注意數據文件未壓縮/ gzip文件，它是* .dat文件這不是生產環境。用戶是否是低優先級用戶的可能性？參考號11 https://cloudcelebrity.wordpress.com/2013/08/14/12-key-