Fetch抓取是指在Hive中对某些情况的查询可以不使用MapReduce计算。
例如:SELECT * FROM tb_dept;在Fetch抓取情况下,Hive可以简单地读取tb_dept对应的存储目录下的文件,然后输出查询结果到控制台。
Fetch抓取在hive-site.xml中对应的配置信息:
hive.fetch.task.conversion
more
hive.fetch.task.conversion默认是more,此时在全局查找、字段查找、limit查找情况下都不走mapreduce。可以通过设置hive.fetch.task.conversion的值为none来关闭Fetch抓取
示例 第一步:设置hive.fetfch.task.conversion=more,即默认值,全局查找、字段查找、limit查找情况下都不走mapreduce 第二步:设置hive.fetfch.task.conversion=none,即默认值,全局查找、字段查找、limit查找情况下都会走mapreduce。以全字段查找为例: