Hadoop join 关联提升版 开发代码调整解决 reduce时候 OOM问题

1、数据文件

[root@master IMFdatatest]#cat members.txt
1       Spark   1
2       Hadoop  1
3       flink   3
4       Kafka   1
5       Tachyon 2
[root@master IMFdatatest]#cat address.txt
1       America
2       China
3       Germa

2、上次文件到hdfs

 

=======================================================

代码分析

1、自定义MemberKey hadoop如何定义key体现开发人员的水准
private int keyID
private boolean flag
compareTo方法
hashCode方法，就以keyID作为hashCode值

2、自定义类Member_Information，包含成员ID 成员名字    地址

ID  地址
 String memberNo
 String memberName
 String addresNo
 String addressName

3、自定义GroupComparator
定义组的c