【hadoop3.0】hive 安装

摘要:
安装1。下载http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gztar-xfapache-hive-3.1.2-bin.tar.gz-C/export/servers/vim/etc/profileexportHIVE_HOME=/export/servers/apache高-3.1.2-bi

安装

1、下载

http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

tar -xf apache-hive-3.1.2-bin.tar.gz -C /export/servers/

vim /etc/profile

export HIVE_HOME=/export/servers/apache-hive-3.1.2-bin
export PATH=:$HIVE_HOME/bin:$PATH

source /etc/profile

2、mysql8.0配置

CREATE DATABASE hive;

CREATE USER 'hive' IDENTIFIED BY 'hive'; grant all privileges on *.* to 'hive' identified by 'hive';

flush privileges;

3、建立文件

hadoop fs -mkdir -p /tmp/hive

hadoop fs -mkdir -p /user/hive/warehouse

groupadd hadoop
usermod -G hadoop hive
hadoop fs -chown -R hive:hadoop /user/hive/warehouse
hadoop fs -chown -R hive:hadoop /tmp/hive/
hadoop fs -chmod 755 /user/hive/warehouse
hadoop fs -chmod 777 /tmp/hive/

hadoop fs -mkdir -p /user/hive/log
hadoop fs -chmod 777 /user/hive/log

配置

2.0 配置文件拷贝

cd /export/servers/apache-hive-2.3.3-bin/conf/

cp hive-env.sh.template hive-env.sh

export HADOOP_HOME=/export/servers/hadoop-3.3.0
export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.3-bin/conf

cp hive-default.xml.template hive-site.xml

2.1 搜索hive.exec.scratchdir, 将该name对应的value修改为/user/hive/tmp

<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>

2.2 搜索hive.querylog.location,将该name对应的value修改为/user/hive/log/hadoop

<property>
<name>hive.querylog.location</name>
<value>/user/hive/log/hadoop</value>
<description>Location of Hive run time structured log file</description>
</property>

2.3 搜索javax.jdo.option.connectionURL,将该name对应的value修改为MySQL的地址

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.252.124:3306/hive?createDatabaseIfNotExist=true</value>
<description>
JDBC connect string for a JDBC metastore.
To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
</description>
</property>

2.4 搜索javax.jdo.option.ConnectionDriverName,将该name对应的value修改为MySQL驱动类路径

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

2.5 搜索javax.jdo.option.ConnectionUserName,将对应的value修改为MySQL数据库登录名

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>Username to use against metastore database</description>
</property>

2.6 搜索javax.jdo.option.ConnectionPassword,将对应的value修改为MySQL数据库的登录密码

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
<description>password to use against metastore database</description>
</property>

3 创建tmp文件

mkdir $HIVE_HOME/tmp
并在 hive-site.xml 中修改:

把{system:java.io.tmpdir} 改成 /export/servers/apache-hive-2.3.3-bin/tmp
把 {system:user.name} 改成 {user.name}

4、lib包

cd /export/servers/hadoop-3.3.0/share/hadoop/common/lib

cp guava-27.0-jre.jar /export/servers/apache-hive-2.3.3-bin/lib/

wget  https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.20/mysql-connector-java-8.0.20.jar

启动

初始化硬盘

schematool -initSchema -dbType mysql

验证

hive

hive --service metastore &

免责声明:文章转载自《【hadoop3.0】hive 安装》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Django Channels 入门指南c# 方法重载的一些事情下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

【记录】hive连接报错Required field 'client_protocol' is unset! Struct:TOpenSessionReq

如图: 解决 现在用的是 <dependency><groupId>org.apache.hive</groupId><artifactId>hive-jdbc</artifactId><version>2.3.3</version></dependency>...

[转] hive0.14-insert、update、delete操作测试

FROM : http://blog.csdn.net/hi_box/article/details/40820341 首先用最普通的建表语句建一个表: [java] view plaincopy  hive>create table test(id int,name string)row format delimited fields ter...

Hive(1)-基本概念

一. 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL(Hive Query Language)转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是...

将txt、csv等文本文件导入Hive

将txt、csv等文本文件导入Hive 目录 将txt、csv等文本文件导入Hive 00.数据在虚拟机外 01.启动hadoop、hdfs 02.将文件放置在hdfs目录下 03.登录hive并进入指定数据库 04.根据文件创建表 05.执行导入语句 00.数据在虚拟机外 如果数据在虚拟机内,请跳过此步,直接执行接下来的操作。 推荐使用Sec...

Hive实现自增列的两种方法

多维数据仓库中的维度表和事实表一般都需要有一个代理键,作为这些表的主键,代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列,但它也有一些对自增序列的支持,通常有两种方法生成代理键:使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数(UDF)。 用row_number()函数生成代理键 INS...

Superset 的简单使用

安装数据源依赖 参考官网http://superset.apache.org/installation.html#database-dependencies pip install mysqlclient 或conda install mysqlclient 配置hive #配置hive pip install pyhive -i https://py...