AMBARI部署HADOOP集群(4)

摘要:
您可以使用标准JDBCAPI而不是HBase客户端API来创建表、插入数据和查询HBase数据。此时,SmartSense报告错误。这是因为未安装HSTSERVER。HST是ambari的收费子项,安装在集群子节点上,用于集群的整体性能反馈调优。
通过 Ambari 部署 hadoop 集群

1.打开http://192.168.242.181:8080 登陆的用户名/密码是 : admin/admin

2.点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群

AMBARI部署HADOOP集群(4)第1张

3.为集群取一个名字

AMBARI部署HADOOP集群(4)第2张

4.前面我们建了本地的资源库,这里选择 “Use Local Repository”。删除其它的OS,只留redhat7那一行。并且在BaseURL那一列里填入前面搭建的 web服务对应的地址。

AMBARI部署HADOOP集群(4)第3张

5.在 “TargetHosts”里填入hadoop集群需要部署到哪些机器。可以填IP。

SSH Private Key里选择的文件是从零开始安装 Ambari (1) -- 安装前的准备工作中配置免密登陆到其它机器的那台机器的 id_rsa这个文件(ambari主机)。我用的是root帐号,所以这个文件是在 /root/.ssh/目录下。

AMBARI部署HADOOP集群(4)第4张

6. “ConfirmHosts”这一步,ambari会在上面的配置的hosts中安装ambariagent,只需等待即可。

7.根据需要,选择服务。如果某些服务依赖其它服务,而没有选择依赖的服务的话,点击“Next”时,会做相应的提示。

AMBARI部署HADOOP集群(4)第5张

8.点击 “Next”,如果出现类似下面的警告的话,可以不用管,后续如果需要的话,可以再安装

AMBARI部署HADOOP集群(4)第6张

9. “Assign Masters”这一步,ambari会自动分配各种服务到不同的机器上。可以手动进行调整。

AMBARI部署HADOOP集群(4)第7张

10. “Assign Slaves and Clients”这一步,手动分配 Hadoop的DataNode节点位置,YARN的NodeManager的位置......

其中NFSGateway是通过挂载的方式,像访问本地文件系统一样访问Hadoop的文件系统。

Phoenix Query Server是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据。

AMBARI部署HADOOP集群(4)第8张

11.设置密码。(有一行的username是 N/A,比较奇怪,不知道用在哪)

AMBARI部署HADOOP集群(4)第9张

12.数据库配置。如果选择了安装 hive或 Ranger,需要输入相关的数据库的信息。此例中没有这一步。

13.目录配置。配置各个服务需要用到的目录。使用默认值即可。

AMBARI部署HADOOP集群(4)第10张

14.创建用户。默认情况下,ambari会为每个服务创建一个linux的用户,用不同的用户启动不同的服务。我设成了同一个用户。

AMBARI部署HADOOP集群(4)第11张

15. “ALL CONFIGURATIONS”,这一步可以修改前面的一些配置

AMBARI部署HADOOP集群(4)第12张

16.点击 “Next”后,出现总结页。可以下载创建这个集群的元数据信息。点击 “DEPLOY”后,就开始部署了。

AMBARI部署HADOOP集群(4)第13张

17. 效果展示。

AMBARI部署HADOOP集群(4)第14张

此时SmartSense有报错,

AMBARI部署HADOOP集群(4)第15张

这是HST SERVER未安装,HST是ambari的收费子项目,安装在集群子节点,用于集群整体的性能反馈调优。这里没有安装,如何需要安装,可单独进行。

免责声明:文章转载自《AMBARI部署HADOOP集群(4)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇队列(Queue)VS 2019背景全透明以及插件、特效下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hive HMS Canary 时间较长异常分析

一、现象及异常 测试up1集群: create database 操作 200s 多一点。 # sudo -u hive hive --hiveconf hive.metastore.uris=thrift://10.197.1.141:9084 hive> create database wgtestdb_region3_1; OK Time ta...

Hadoop-2.2.0中文文档—— Common

概览 这个新手教程描写叙述了native(本地?原生?)hadoop库,包括了一小部分关于native hadoop共享库的讨论。 This guide describes the native hadoop library and includes a small discussion about native shared libraries....

【Hadoop系列】linux SSH原理解析

本文中斜体加粗代表shell指令,操作环境 CentOS6.5 linux root免密码登录链接:【Hadoop系列】linux下 root用户免密码登录远程主机 ssh。 linux 非root用户免密码登录:XXXXXXX(暂未写好) Linux下,使用ssh协议登录远程计算机。让我们先来了解下什么是SSH。 一、什么是SSH?简单说,SSH是一种网...

Azkaban简介和使用

概述 为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天...

Java程序员必备的10个大数据框架!

作者:java妞妞 blog.csdn.net/javaniuniu/article/details/71250316 当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂。根据外媒的一项调查报告,列出了Java程序员在过去12个月内一直使用的一些工具或框架,或许会对你有...

Hadoop中JournalNode的作用

NameNode之间共享数据(NFS 、Quorum Journal Node(用得多)) 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,...