概念:
在执行MapReduce时,可能mapper之间需要共享一些信息,如果信息量不大,可以将其从HDFS加载到内存中。
使用DistributedCache方法:
1.在main方法中加载共享文件的HDFS路径,路径可以是目录也可以是文件。可以在路径中末位追加“#”+别名,在map阶段可以使用该别名
String cache="hdfs://10.203.87.5:8020/cache/file"; cache=cache+"#myfile";//myfile是别名
job.addCacheFile(new Path(cache).toUri(),conf);//添加到job设置
2.在Mapper类或Reducer的setup方法中,用输入流获取分布式缓存文件
protected void setup(Conetxt context) throws IOException{ FileReader reader=new FileReader(); BufferedReader br=new BufferedReader(reader); }加载到内存发生在job之前,每个从节点各自都缓存一份相同的共享数据。如果共享数据太大,可以将共享数据分批缓存,重复执行作业。