0
如何與Hadoop中的所有映射器共享全局矩陣?在Hadoop中共享全局矩陣
我知道,共享變量是用做:
conf.set( 「的testvar」, 「值1」);
然後獲得值映射器:
conf.get( 「的testvar」)
但對於矩陣的情況下?是否可以在開始執行map函數之前共享矩陣?
如何與Hadoop中的所有映射器共享全局矩陣?在Hadoop中共享全局矩陣
我知道,共享變量是用做:
conf.set( 「的testvar」, 「值1」);
然後獲得值映射器:
conf.get( 「的testvar」)
但對於矩陣的情況下?是否可以在開始執行map函數之前共享矩陣?
它可以使用hadoop的distributedcache功能來實現。 DistributedCache是Map-Reduce框架提供的用於緩存應用程序所需的文件(文本,存檔,罐子等)的功能.Google和它可以找到代碼示例
但它緩存文件,對不對?在開始執行代碼之前,如何將文件放在矩陣(例如整數矩陣)中? 我猜分散緩存將文件放入緩存並在每個映射器端打開它,不是嗎? –