2014-03-04 29 views
0

如何與Hadoop中的所有映射器共享全局矩陣?在Hadoop中共享全局矩陣

我知道,共享變量是用做:

conf.set( 「的testvar」, 「值1」);

然後獲得值映射器:

conf.get( 「的testvar」)

但對於矩陣的情況下?是否可以在開始執行map函數之前共享矩陣?

回答

0

它可以使用hadoop的distributedcache功能來實現。 DistributedCache是Map-Reduce框架提供的用於緩存應用程序所需的文件(文本,存檔,罐子等)的功能.Google和它可以找到代碼示例

+0

但它緩存文件,對不對?在開始執行代碼之前,如何將文件放在矩陣(例如整數矩陣)中? 我猜分散緩存將文件放入緩存並在每個映射器端打開它,不是嗎? –