Hadoop join 关联提升版 开发代码调整解决 reduce时候 OOM问题

1、数据文件

[root@master IMFdatatest]#cat members.txt 1       Spark   1 2       Hadoop  1 3       flink   3 4       Kafka   1 5       Tachyon 2 [root@master IMFdatatest]#cat address.txt 1       America 2       China 3       Germa

2、上次文件到hdfs

 

=======================================================

代码分析

1、自定义MemberKey hadoop如何定义key体现开发人员的水准 private int keyID private boolean flag compareTo方法 hashCode方法，就以keyID作为hashCode值

2、自定义类Member_Information，包含成员ID 成员名字    地址

ID  地址  String memberNo  String memberName  String addresNo  String addressName

3、自定义GroupComparator 定义组的c