您当前的位置: 首页 >  hive

Hive调优之 Fetch抓取

梁云亮 发布时间:2020-03-02 12:12:31 ,浏览量:3

Fetch抓取是指在Hive中对某些情况的查询可以不使用MapReduce计算。

例如:SELECT * FROM tb_dept;在Fetch抓取情况下,Hive可以简单地读取tb_dept对应的存储目录下的文件,然后输出查询结果到控制台。

Fetch抓取在hive-site.xml中对应的配置信息:


  hive.fetch.task.conversion
  more

hive.fetch.task.conversion默认是more,此时在全局查找、字段查找、limit查找情况下都不走mapreduce。可以通过设置hive.fetch.task.conversion的值为none来关闭Fetch抓取

示例 第一步:设置hive.fetfch.task.conversion=more,即默认值,全局查找、字段查找、limit查找情况下都不走mapreduce 在这里插入图片描述 第二步:设置hive.fetfch.task.conversion=none,即默认值,全局查找、字段查找、limit查找情况下都会走mapreduce。以全字段查找为例: 在这里插入图片描述

关注
打赏
1688896170
查看更多评论

梁云亮

暂无认证

  • 3浏览

    0关注

    1121博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0467s