您当前的位置: 首页 >  段智华 大数据

大数据Spark “蘑菇云”行动第98课:Hive性能调优压缩和分布式缓存

段智华 发布时间:2016-12-16 21:12:10 ,浏览量:6

大数据Spark “蘑菇云”行动第98课:Hive性能调优压缩和分布式缓存

 Hive压缩一般采用Snappy、LZO和GZIP 

org.apache.hadoop.io.compression.SnappyCodec 

 core-site.xml

   
    io.compression.codecs
     org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.DeflateCodec, org.apache.hadoop.io.compress.SnappyCodec, org.apache.hadoop.io.compress.Lz4Codec
   


 set hive.exec.compress.intermediate=true;


    set mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;


 DistrubutedCache.addCacheFile()



hive.aux.jars.path



关注
打赏
查看更多评论

段智华

暂无认证

  • 6浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录