Hive的安装与部署(MySQL作为元数据库)

摘要:
配置单元安装和部署(MySQL作为元数据)(启动之前,请确保Hadoop环境已启动,Linux下的MySQL已安装)1.安装配置单元(1)下载安装包您可以从Apache下载配置单元安装包:http://mirror.bit.edu.cn/apache/hive/(2)解压缩压缩包:(2)将其移动到指定的目录:(此处,将其移动至/usr/local/)2.为Hive建立相应的MySQL帐户,并给予足够的权限

Hive的安装与部署(MySQL作为元数据)

(开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好)

  1. 1.     安装Hive

(1)下载安装包

可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache/hive/

(2)压缩包解压:

 Hive的安装与部署(MySQL作为元数据库)第1张

(2)移动至指定目录:(这里是移动至/usr/local/下)

 Hive的安装与部署(MySQL作为元数据库)第2张

  1. 2.     为Hive建立相应的MySQL账户,并赋予足够的权限:

(1)登录mysql:

 Hive的安装与部署(MySQL作为元数据库)第3张

(2)建立hive用户:

 Hive的安装与部署(MySQL作为元数据库)第4张

(3)赋予足够权限:

 Hive的安装与部署(MySQL作为元数据库)第5张

grant 权限1,权限2,...权限n on 数据库名称.表名称 to 用户名@用户地址

赋予hive用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”,并具有授予权。

(4)flush privileges刷新MySQL的系统权限相关表:

 Hive的安装与部署(MySQL作为元数据库)第6张

(5)默认情况下Mysql只允许本地登录,所以需要修改配置文件将地址绑定给注释掉:

 Hive的安装与部署(MySQL作为元数据库)第7张

修改如下:

 Hive的安装与部署(MySQL作为元数据库)第8张

(6)重启mysql服务:

 Hive的安装与部署(MySQL作为元数据库)第9张

重启命令:

service mysql restart
  1. 3.     建立Hive专用的元数据库

(1)使用hive用户登录mysql:

 Hive的安装与部署(MySQL作为元数据库)第10张

(2)创建Hive专用元数据库:

 Hive的安装与部署(MySQL作为元数据库)第11张

  1. 4.     配置环境变量:

 编辑环境变量:

sudo gedit /etc/profile

添加如下内容:

 Hive的安装与部署(MySQL作为元数据库)第12张

让修改立即生效:

source /etc/profile
  1. 5.     在Hive的conf目录下的文件“hive-site.xml”中增加如下配置

(1)复制hive-default.xml.template创建hive-site.xml,一个是系统默认的一个是自定义的,hive优先以自定义的为准。

 Hive的安装与部署(MySQL作为元数据库)第13张

(2) 修改hive-site.xml文件(在这之前,需先将hive-site.xml中原有的东西全部删掉,然后添加下列内容:)

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>

“hive?createDatabaseIfNotExist=true”如果hive数据库不存在就自动创建一个数据库

  1. 6.     把MySQL的JDBC驱动包复制到Hive的lib目录下(略,下载地址:https://dev.mysql.com/downloads/connector/j/

(驱动包名为:mysql-connector-java-5.1.46-bin.jar)

  1. 7.     初始化:

 Hive的安装与部署(MySQL作为元数据库)第14张

出现如下提示表示初始化成功:

 Hive的安装与部署(MySQL作为元数据库)第15张

  1. 8.     启动hive并测试(确保hadoop集群已经启动)

 Hive的安装与部署(MySQL作为元数据库)第16张

在Hive中创建表xp:

 Hive的安装与部署(MySQL作为元数据库)第17张

在mysql中查看:(use hive切换到数据库hive)

 Hive的安装与部署(MySQL作为元数据库)第18张

显示 hive 数据库中的数据表:

 Hive的安装与部署(MySQL作为元数据库)第19张

查看 hive 的元数据信息:

 Hive的安装与部署(MySQL作为元数据库)第20张

到此Hive集成Mysql作为元数据已完成。

免责声明:文章转载自《Hive的安装与部署(MySQL作为元数据库)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Delphi XE4 TStringHelper用法详解linux内核是如何支持深度睡眠(deep sleep)方式的?下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

【MSSQL】How can i see what IP address made the request to SQL Server?

How can i see what IP address made the request to SQL Server?#背景   前提:有一个服务定时读取某台服务器上的sql server 数据库,轮询处理一些事务;   问题:突然发现数据库数据不对劲,于是将服务器上的服务关闭,但仍发现数据库上的数据发生变动; #解决方案   第一步:通过sql se...

sqlserver 文件与文件组的使用和优化

文件和文件组填充策略    文件组对组内的所有文件都使用按比例填充策略。当数据写入文件组时,SQL Server 数据库引擎按文件中的可用空间比例将数据写入文件组中的每个文件,而不是将所有数据都写入第一个文件直至其变满为止。然后再写入下一个文件。例如,如果文件 f1 有 100 MB 可用空间,文件 f2 有 200 MB 可用空间,则从文件 f1...

Oracle数据库ORA-12154: TNS: 无法解析指定的连接标识符详解

相信使用过Oracle数据库的人一定碰到过“ORA-12154: TNS: 无法解析指定的连接标识符”错误,我在此做一个小小的总结。       在程序中连接Oracle数据库的方式与其他常用数据库,如:MySql,Sql Server不同,这些数据库可以通过直接指定IP的方式连接,但是Oracle则需要通过Oracle客户端配置网络服务名的方式来连接。否...

连接MySQL报 unblock with 'mysqladmin flush-hosts' 问题解决

    工作中突然遇到有一台服务器连接不上MySQL数据库,报错如下,其他服务都正常。特此总结一下解决方法。 可以看出,产生的原因是: 同一个ip在短时间内产生太多(超过mysql数据库max_connect_errors的最大值)中断的数据库连接而导致的阻塞 max_connect_errors是一个MySQL中与安全有关的计数器值,它负责阻止过多尝试...

部署zabbix企业监控平台

一、实验拓扑图 二、安装zabbix server   实验对象:上图中的zabbix-server 2.1)配置主机名、IP信息 # echo "server.ayitula.com" > /etc/hostname # hostname server.ayitula.com # nmcli con add con-name eth0 ifnam...

C# SQLite 创建数据库的方法增删查改语法和命令

SQLite介绍   SQLite是一个开源、免费的小型RDBMS(关系型数据库),能独立运行、无服务器、零配置、支持事物,用C实现,内存占用较小,支持绝大数的SQL92标准。 SQLite数据库官方主页:http://www.sqlite.org/index.html   cmd下sqlite的使用网   1:选择下载对应自己系统的sqlite.3exe...