hive删除空分区

摘要:
如果不想保留它,请使用以下命令删除分区并手动删除hdfs上的分区文件。以下内容用于删除空分区。

当hive中分区字段有NULL值时,hive会使用dynamic partition,数据会放到一个特殊的分区,这个分区由参数“hive.exec.default.partition.name”控制,默认为“__HIVE_DEFAULT_PARTITION__”,即上面这种情况。

如果不想保留,则使用下面命令删除该分区,同时手工删除hdfs上该分区文件。

下面用于删除null分区。

ALTER TABLE table DROP IF EXISTS PARTITION (pk_year='__HIVE_DEFAULT_PARTITION__',pk_month='__HIVE_DEFAULT_PARTITION__',pk_day='__HIVE_DEFAULT_PARTITION__');

免责声明:文章转载自《hive删除空分区》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇【18NOIP普及组】对称二叉树(信息学奥赛一本通 1981)(洛谷 5018)mysql数据库存储过程异常处理下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hive基础之Hive数据类型

Hive数据类型    参考:中文博客:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843448.html          英文:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types    1、列类型    ...

大数据培训班 cloudera公司讲师面对面授课 CCDH CCAH CCP

大数据助力成就非凡。大数据正在改变着商业游戏规则,为企业解决传统业务问题带来变革的机遇。毫无疑问,当未来企业尝试分析现有海量信息以推动业务价值增值时,必定会采用大数据技术。 目前对大数据的分析工具,首选的是Hadoop平台。由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统...

Hive实现自增列的两种方法

多维数据仓库中的维度表和事实表一般都需要有一个代理键,作为这些表的主键,代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列,但它也有一些对自增序列的支持,通常有两种方法生成代理键:使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数(UDF)。 用row_number()函数生成代理键 INS...

scala之 spark连接SQL和HIVE/IDEA操作HDFS

一、连接SQL 方法一、 package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { def main(args: Arr...

Hive 使用Tez引擎的配置

前提 Hive  需要是 2.0以上版本 Tez配置 下载好tar包后,将tar包上传到HDFS集群路径下 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 将Linux本机上的tar包解压 Hive配置 在hive/conf下新建tez-site.xml文件,并添加以下参数 &l...

sqoop 安装与使用

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 官网:http://sqoop.apache.org/ 由于官方不建议将sq...