Cloudera

Cloudera运维

1. 增加一个节点 1. 拷贝cm的jar包到该节点 2. 设置hostname(hostnamectl set-hostname XXX),然后修改hosts文件 3. 所有的节点添加该hostname 4. 修改agent配置文件,指向cloudera manager节点;启动cm 5. 进入到管理页面,host -> add new h...

CDH| Cloudera Manager的安装

一.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 功能: 1)   管理:对集群进行管理,如添加、删除节点等操作。 2)   监控:监控集群...

【转】cloudera新增用户权限配置

转自 http://lookqlp.iteye.com/blog/2189119  。   配置起来较复杂,需要在有测试环境之后再进行配置测试。  之后是有上HUE的计划的,所以这个也是一定要做的。 目标: 给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径,及hive数据库。 前提: cloudera cloudera manager kerb...

cloudera目录位置

http://www.aboutyun.com/thread-9189-1-1.html 这里来的嘿嘿。 1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Age...

CDH-5.12.2安装教程

CDH是Cloudera公司提供的Hadoop发行版,它在原生开源的Apache Hadoop基础之上,针对特定版本的Hadoop以及Hadoop相关的软件,如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发,我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试。 以往安装配置使用Apache Hadoop时,完全需...

product of大数据平台搭建------CM 和CDH安装

一、安装说明       CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台。        采用离线安装模式,虽然在线安装比较简单,但是速度感人,原因大家都懂,这里我使用的各软件版本信息为: 操作系统:CentOS6.8 CDH版本:5.7...

运用CDH5.15离线搭建简易版集群

                                 运用CDH5.15离线搭建简易版集群 关于CDH和Cloudera CDH(Cloudera的发行版,包括Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境.Cloudera...

CDH5.16.1集群企业真正离线部署

⼀.准备⼯作 1.离线部署大纲 MySQL离线部署 CM离线部署 Parcel⽂件离线源部署 2.规划 linux版本:CentOS 7.2 节点 MySQL组件 Parcel⽂件离线源 CM服务进程 ⼤数据组件 hadoop001 MySQL Parcel Alert Publisher Event Server NN RM DN NM...

CDH目录

配置文件都在:/etc/服务名, 看hadoop的classpath   |grep conf /etc/hadoop/conf log都在: /var/log/服务名  看scm的log: tail -1000 /var/log/cloudera-scm-server/cloudera-scm-server.log |grep error hive: /...

CDH搭建Hadoop分布式服务器集群(java新手小白)

1首先对于一个java还白的小白,先理解CDH与Hadoop的关系 一、Hadoop版本选择。 Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop,考虑到Hadoop集群部署的高效,集群的稳定性, 以及后期集中的配置管理,业界多使用Cloudera公司的发行版,简称为CDH。 下面是转载的Hadoop社区版本与第三方发行版...