Hive 严格模式与非严格模式

摘要:
除非where语句包含显示数据范围的分区字段筛选条件,否则没有分区限制的查询可能会消耗不可接受的巨大资源来处理此表:select*fromt_partition;NopartitionpredictefoundforAlias“t_pation”表“t_pattion”查询时请注意添加分区:

1. hive严格模式
hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。通过设置hive.mapred.mode的值为strict,可以禁止3中类型的查询。

(1) 查询一个分区表时
如果在一个分区表执行hive,除非where语句中包含分区字段过滤条件来显示数据范围,否则不允许执行。换句话说,就是用户不允许扫描所有的分区。进行这个限制的原因是,通常分区表都拥有非常大的数据集,而且数据增加迅速。 如果没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表:例如


hive> select * from t_patition;
FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "t_patition" Table "t_patition"



注意查询的时候加上分区:


hive> select * from t_patition where country=’China’;


(2)带有order by的查询
对于使用了orderby的查询,要求必须有limit语句。因为orderby为了执行排序过程会讲所有的结果分发到同一个reducer中进行处理,强烈要求用户增加这个limit语句可以防止reducer额外执行很长一段时间:


hive> select * from student order by id;

FAILED: SemanticException 1:31 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'id'



注意查询的时候加上limit:


select * from student order by id limit 10;


(3) 限制笛卡尔积的查询
对关系型数据库非常了解的用户可能期望在执行join查询的时候不使用on语句而是使用where语句,这样关系数据库的执行优化器就可以高效的将where语句转换成那个on语句。不幸的是,hive不会执行这种优化,因此,如果表足够大,那么这个查询就会出现不可控的情况:


hive> SELECT * FROM fracture_act JOIN fracture_ads
> WHERE fracture_act.planner_id = fracture_ads.planner_id;
FAILED: Error in semantic analysis: In strict mode, cartesian product
is not allowed. If you really want to perform the operation,
+set hive.mapred.mode=nonstrict+



注意查询的时候使用join和on语句的查询:


hive> SELECT * FROM fracture_act JOIN fracture_ads
> ON (fracture_act.planner_id = fracture_ads.planner_id);


 

免责声明:文章转载自《Hive 严格模式与非严格模式》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇开关电源使用[转]Ubuntu下基于Eclipse的Android开发环境的方法下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

认证与Shiro安全框架

  本文内容均来自官网 1.简介 Apache Shiro是Java的一个安全框架。功能强大,使用简单的Java安全框架,它为开发人员提供一个直观而全面的认证,授权,加密及会话管理的解决方案。 实际上,Shiro的主要功能是管理应用程序中与安全相关的全部,同时尽可能支持多种实现方法。Shiro是建立在完善的接口驱动设计和面向对象原则之上的,支持各种自定义行...

oracle数据库SQL收集整理

oralce数据库导入及导出某用户所有数据 前提:在CMD 命令下 导出命令:exp 用户名/密码@数据库 owner=用户名 file=文件存储路径(如:F:abcd.dmp) 导出服务器数据:exp sname/paw@192.60.25.102/orcl owner=sname file=d:sname.dmp 导入命令:imp 用户名/密码@数据库...

Oracle序列号

转载:https://www.cnblogs.com/laipDIDI/articles/2620971.html 例1:创建序列:CREATE SEQUENCE ABC INCREMENT BY1 START WITH1 MAXVALUE 9999999999 NOCYCLE NOCACHE; 语法详解CREATE SEQUENCE 序列名 [INCRE...

【漏洞分析】dedecms有前提前台任意用户密码修改

 0x00 前言 早上浏览sec-news,发现锦行信息安全发布了一篇文章《【漏洞分析】 织梦前台任意用户密码修改》,看完之后就想着自己复现一下。 该漏洞的精髓是php的弱类型比较,'0.0' == '0',也有一定的限制,只对没有设置安全问题的用户有效(默认是没有设置的)。 0x01 漏洞版本 我复现的是DedeCMS V5.7 SP2正式版,2018-...

Disruptor 详解

想了解一个项目,最好的办法就是,把它的源码搞到本地自己捣鼓。   在网上看了 N 多人对 Disruptor 速度的吹捧,M 多人对它的机制分析,就连 Disruptor 官方文档中,也 NB 哄哄自诩: At LMAX we have built an order matching engine, real-time risk management, a...

RedHat7 Git 安装使用

Git 是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码,管理私人的文档和源代码也有很多优势。 搭建git环境 第一步: 安装Git # yum -y install git 第二步: 在https://github.com/上创建GitHub帐号  第三步: 生成ssh key # ssh-keygen -t rsa -C "you...