Centos7.X安装impala(RPM方式)

摘要:
如果已经存在,请将用户impala添加到文件所属的组,并修改文件组的权限,即chown-R775hadoop

Centos7.5安装Impala

一、安装包准备
1.1、Impala下载地址

http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/

1.2、impala依赖下载地址

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

1.3、Impala其他依赖

cyrus-sasl-plain lsb

由于lsb依赖过多,需要在内网配置一个本地yum源;且大数据平台需要配置一个统一ntp时间同步服务器;

1.4、将下载好的rpm包上传服务器

二、实施安装
(hadoop,hive集群已安装好,且正常启动状态)

2.1、安装其他依赖

cyrus-sasl-plain lsb ntp服务,如果ntp服务单独在整个大数据平台安装,此处就不需要安装

yum install -y cyrus-sasl-plain lsb (主从节点)

2.2、安装rpm包

主节点:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

从节点:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

三、配置impala
3.1、配置bigtop-utils

vim /etc/default/bigtop-utils(主从节点)

3.2、配置impala

/etc/default/impala(主从节点)

IMPALA_CATALOG_SERVICE_HOST=infobeat-web   #infobeat-web为impala主节点域名

IMPALA_STATE_STORE_HOST=infobeat-web   #infobeat-web为impala主节点域名

3.3、整合hdfs和hive

配置impala的conf文件(主从节点)

把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷贝到/etc/impala/conf.dist/目录下

同时编辑core-site.xml、hdfs-site.xml配置文件,在原有基础上追加如下修改:

#hdfs-site.xml

<!--impala configuration -->

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.block.local-path-access.user</name>

<value>impala</value>

</property>

<property>

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>60000</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>      #hadoop-hdfs手动创

</property>

# core-site.xml

<!--impala configuration -->

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.skip.checksum</name>

<value>false</value>

</property>

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

3.4、重启hadoop集群

stop-all.sh

3.5、设置scoket path

在目录/var/run/目录下新建目录hadoop-hdfs(主从节点)

注意:该文件夹可能已经存在,应当确认用impala是否有权限进行读写。如果已经存在,将用户impala加入该文件所属的组,并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

[root@hadoop]# cd /var/run/ #进入目录/var/run/

[root@hadoop]#mkdir hadoop-hdfs #创建目录hadoop-hdfs文件夹

[root@hadoop]# chown -R 775 hadoop-hdfs/ #设置权限

3.6、权限配置

如果想要impala和yarn合作,需要把impala用户加入hdfs组(主从节点);

impala在执行drop table操作时,需要把文件移到到hdfs的回收站,所以需要创建一个hdfs的目录/user/impala,并将其设置为impala用户可写。

同样,impala需要读取hive数据仓库下的数据,故需要把impala用户加入hive组。

[root@hadoop]#usermod -G hdfs,hadoop impala

[root@hadoop]# groups impala

impala:impala hdfs hadoop

另:创建impala在hdfs上的目录并设置权限

[root@hadoop]$ hadoop fs -mkdir -p /user/impala

[root@hadoop]$ hadoop fs -chown impala /user/impala

3.7、添加mysql驱动

在/var/lib/impala/目录下面添加mysql驱动jar

四、启动impala
4.1、启动主节点

[root@hadoop]# service impala-state-store restart

[root@hadoop]# service impala-catalog restart

[root@hadoop]# service impala-server restart

4.2、启动从节点

[root@hadoop]# service impala-server restart

4.3、服务验证

注意:
1、因为impala安装需要root权限,所以可以给hadoop用户添加sudo权限

gpasswd -a hadoop wheel #root执行


————————————————
版权声明:本文为CSDN博主「火树银花之处」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zcf1319/article/details/106085599/

免责声明:文章转载自《Centos7.X安装impala(RPM方式)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇(转)Three.JS学习 9:WEBVR 入门demoMyCat 概念与配置下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Yum -y update 报错

问题描述: 操作系统:CentOS 6.5 今天服务器上执行 yum -y update 命令时,提示: Running rpm_check_debug ERROR with rpm_check_debug vs depsolve libasound.so.2()(64bit) is needed by qemu-kvm-2:0.12.1.2-2....

从零搭建企业大数据分析和机器学习平台-技术栈介绍(三)

数据传输和采集 Sqoop数据传输工具实际项目开发中,往往很多业务数据是存放在关系型数据库中,如 MySQL数据库。我们需要将这些数据集中到数据仓库中进行管理,便于使用计算模型进行统计、挖掘这类操作。 Sqoop是Apache软件基金会的⼀一款顶级开源数据传输工具,用于在 Hadoop与关系型数据库(如MySQL、Oracle、PostgreSQL等)之间...

spark sql 优化心得

本篇文章主要记录最近在使用spark sql 时遇到的问题已经使用心得。 1 spark 2.0.1 中,启动thriftserver 或者是spark-sql时,如果希望spark-sql run on hdfs,那样需要增加参数 "--conf spark.sql.warehouse.dir=hdfs://HOSTNAME:9000/user/hive...

CDH目录

配置文件都在:/etc/服务名, 看hadoop的classpath   |grep conf /etc/hadoop/conf log都在: /var/log/服务名  看scm的log: tail -1000 /var/log/cloudera-scm-server/cloudera-scm-server.log |grep error hive: /...

更改hadoop集群yarn的webui中的开始时间和结束时间为本地时间

  yarn集群的webui地址为:http://rm:8088   执行任务后,任务的开始时间和结束时间都是utc时间,查看很不方便。   查找相关资料发现hadoop有补丁包,补丁地址:https://issues.apache.org/jira/browse/YARN-1998   补丁内容为: Index: hadoop-yarn-project/...

linux-mysql8的安装步骤详解及需要注意的坑

(本文由言念小文原创,转载请注明出处) 前言最近安装mysql8时,遇到了一些问题,记录下来作为以后操作指导资料。 Linux上mysql安装方法个人目前使用的有两种: 一种是基于rpm安装; 另一种就是在windows上将安装包下载下来,然后通过ftp、lrzsz等工具将包传输到linux,然后再手动解压安装。 由于我的系统为centos,因此这里直接使...