Hadoop集群的hbase介绍、搭建、环境、安装

摘要:
1.hbase简介(百度hbase比我总结的更全面和具体)hbase HadoopDatabase是一个高度可靠、高性能、面向列和可扩展的分布式存储系统。使用HBase技术,可以在低成本的PC服务器上构建大规模结构化存储集群。HBase是Google Bigtable的开源实现。与Google Bigtable类似,它使用GFS作为其文件存储系统,HBase使用Hadoop HDFS作为其文件储存系统;

1、hbase的介绍(自行百度hbase,比我总结的全面具体)

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务。

2、搭建hbase的环境准备

  1.jdk的1.7以上版本

  2.前提zookper集群和HDFS集群

  保证HDFS的namenode和datanode启动,也就是zookeeper出现QuorumPeerMain的leader和follower

3.安装hbase(今天的主题,理论知识太多也没用!!!)

  3.1下载HBase安装包(hbase.apache.org)

  我一般都是下载到window10里,在用Xftp传到JVM里的tmp目录下,安装到我JVM对相应的/usr/local路径下

  tar -zxvf hbase-1.2.6-bin.tar.gz -C /usr/local/ 

  然后进入我的local目录   cd /usr/local/

  重命名    mv hbase-1.2.6/ hbase

  我通常会把软件的docs删了,当搭建集群时会拷贝整个hbase,docs装的API在虚拟机里我们几乎不需要。

  cd hbase                删除docs :rm -rf docs/

  3.2修改环境变量

    3.2.1 使用 vim /etc/profile命令修改系统环境变量(当你是普通用户时 sudo  vim /etc/profile)

#hbase

export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$HBASE_HOME/bin

   保存后source /etc/profile应用下

    3.2.2 在修改hbase的环境变量(记住的JAVA_HOME可使用echo $JAVA_HOME查我的路径是/usr/local/java)

cd  /usr/local/hbase/conf

vim hbase-env.sh 

    export JAVA_HOME=/usr/local/java  #Java环境

    export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop  #通过hadoop的配置文件找到hadoop集群(hdfs_site.xml的目录位置)

    export HBASE_MANAGES_ZK=false #不使用HBASE自带的zookeeper管理集群

    3.2.3HBase参数配置:(hbase-site.xml)由于我直接配置的集群变量,可能跟伪集群不大一样。

<property><!-- 指定HDFS的路径信息 -->

<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<property><!-- Hbase的运行模式,false单机,true分布式集群 -->
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property><!-- ZK集群 -->
<name>hbase.zookeeper.quorum</name>
<value>zkHost01:2181,zkHost02:2181,zkHost03:2181</value>
</property>
<property><!--web ui port-->
<name>hbase.master.info.port</name>
<value>60010</value>
</property>

    3.2.4测试是否启动成功

    zkServer.sh start

    start-dfs.sh

    start-hbase.sh

    jps显示如下

Hadoop集群的hbase介绍、搭建、环境、安装第1张

由于我搭的集群的正常还应该有个Hadoop集群的hbase介绍、搭建、环境、安装第2张

ok!!!!!!!!!!!

4,配置集群的Hbase

如果你按上述创建完成了我们配置一个集群,克隆机就不用说了吧,搭建HDFS集群略过

达到的效果是配置2台主机(Hmaster),3个子机(HRegionServer)

  主机分别为HaoopMaster01,HaoopMaster02.子机为HadoopSlave1,HadoopSlave2,HadoopSlave3

  4.1在主机直接配置子机vim /usr/local/hbase/conf/regionservers

  #里面填入子机名或端口号(可在etc下hosts里修改集群名对应端口)

  HadoopSlave1

  HadoopSlave2

  HadoopSlave3

       4.2把你配置好的hbaser通过你的单点机直接复制到其他机器上

  再把第二台主机的环境配好 scp -r /etc/profile HadoopMaster01 :/etc/

   scp -r hbase HadoopMaster01 :/usr/local

   scp -r hbase HadoopSlave1 :/usr/local

   scp -r hbase HadoopSlave2 :/usr/local

   scp -r hbase HadoopSlave3 :/usr/local 

   4.3第二台主机需要单启(这台主机是防止一台主机down了,然后自动顶上)

  hbase-daemon.sh start master

  4.4测试

    jps

 这个集群主机的DFSZKFailoverController和ResousrceManager于本次配置无关子机的nodeManager和journalnode无关

因为我测试之前搭建的yarn和zfkc所以就显示上了(so sorry!)

Hadoop集群的hbase介绍、搭建、环境、安装第3张

 有什么大数据集群搭建问题可以直接评论我,一起进步吧!!!!

免责声明:文章转载自《Hadoop集群的hbase介绍、搭建、环境、安装》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇未能加载文件或程序集“Oracle.DataAccess”或它的某一个依赖项.试图加载格式不正确的程序Docker的Jenkins Pipeline工作流下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.10版本,所以NiFi中也选择对于版本 a).选择ConsumeKafka_0_10 在Processor...

格式化hdfs

多次格式化hdfs的集群,重新格式化会碰到java.io.IOException: NameNode is not formatted的问题。需要先格式化zookeeper sbin/hadoop-daemon.sh start journalnode bin/hdfs zkfc -formatZK 格式化zk bin/hdfs namenode –for...

TDSQL多集群下的自动化和交付

“两地三中心”部署体系 “两地三中心”架构顾名思义:在一个城市有A、B两个机房,另一个城市有C机房,在第一个城市中TDSQL数据库实例采用同IDC异步、跨IDC强同步的方式,我们需要在第一个城市将四个数据节点部署在二个机房,其中主节点和一个备节点在一个机房,另外两个备节点在另一个机房。并且在第一个城市和第二个城市的数据库实例间,采用的是异步复制,保障金融...

升级Kubernetes 1.18前,你不得不知的9件事

本文来自Rancher Labs 昨天Kubernetes最新版本v1.18已经发布,其包含了38项功能增强,其中15项为稳定版功能、11项beta版功能以及12项alpha版功能。在本文中,我们将探索其中一些功能,希望能帮助你决定是否需要升级。那么,我们现在开始吧! 将Service Account Token作为通用身份验证方法 Kubernetes...

spark安装配置

准备:1. 规划3个集群节点:hosts主机都已经配置好映射,映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置,确保端口互通,防火墙关闭 2. 先安装好scala(参考:https://www.cnblogs.com/sea520/p/13518158.html) 一. 下载spark安装包下载地址:https://ar...

AMBARI部署HADOOP集群(3)

1.安装ambari-server yum -y install ambari-server 2.ambariserver需要一个数据库存储元数据,默认使用的 Postgres数据库。默认的用户名和密码是:ambari/bigdata 。但是一般情况下,后面还要安装 hive和 Ranger,也需要一个存元数据的数据库,所以使用一个mysql做为数据库。需...