Map输出压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。

示例：

1. 开启hive中间传输数据压缩功能
   hive (default)>set hive.exec.compress.intermediate=true;
   
2. 开启mapreduce中map输出压缩功能
   hive (default)>set mapreduce.map.output.compress=true;
   
3. 设置mapreduce中map输出数据的压缩方式
   hive (default)>set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
   
4. 执行查询语句
   
5. 查看是否压缩
   打开网址：http://hcmaster:8088/cluster
   
   单击History连接
   
   在打开的页面中搜索compress.codec
   

Reduce输出压缩

示例：

1. 开启hive最终输出数据压缩功能
   hive (default)>set hive.exec.compress.output=true;
   
2. 开启mapreduce最终输出数据压缩
   hive (default)>set mapreduce.output.fileoutputformat.compress=true;
   
3. 设置mapreduce最终数据输出压缩方式
   hive (default)> set mapreduce.output.fileoutputformat.compress.codec =
   org.apache.hadoop.io.compress.SnappyCodec;
   
4. 设置mapreduce最终数据输出压缩为块压缩
   
5. 测试一下输出结果是否是压缩文件
   hive (default)> insert overwrite local directory
   ‘/opt/module/datas/distribute-result’ select * from emp distribute by deptno sort by empno desc;
   
6. 再次执行第4步中，设置 hive (default)> set mapreduce.output.fileoutputformat.compress.type=BLOCK;然后测试
   
   结果：