[大数据] hadoop高可用(HA)部署（未完）

一、HA部署架构

如上图所示，我们可以将其分为三个部分：

1.NN和DN组成Hadoop业务组件。浅绿色部分。

2.中间深蓝色部分，为Journal Node，其为一个集群，用于提供高可用的共享文件存储（元数据存储）。

3.蓝色部分为Zookeeper，提供自动NN切换。

在 hadoop全分布式安装 中，我们已经部署了一套全分布式的Hadoop集群，包含1个NN和3个DN。

我们在全分布式的基础上将其中一个DN（安装SNN的节点）变为SBNN（备用NN）。

在全分布式中，存在一个SNN（secondary Node），那是Hadoop 1.x中采用的技术。在hadoop 2.x中，使用SBNN（standby Namenode）来完成SNN的功能，并提供HA 备用。

各部分组件工作原理介绍：

1.NN之间的元数据同步：

　　1）多个NN之间要同步的元数据分为两种，静态数据和动态数据。静态数据指HDFS上存放文件的权限、偏移量等信息，动态数据指这些文件存放的块的信息。

　　2）静态信息由NN直接持久化到磁盘，而动态数据是由DN向上汇报的。

　　3）动态数据的同步，无需多个NN之间传递数据，只需要DN同时向多个NN汇报数据即可。

　　4）静态数据则可以通过JN集群或NFS（已淘汰，存在单点故障）来实现。

2.Journal Node：

 　   1）JN节点组成的集群，用于存放多个NN之间共享的元数据，功能类似于我们在全分布式部署时指定的/var/hadoop文件夹。

　　2）当主NN挂掉时，SBNN可以从JN集群中同步元数据。JN集群提供高可用，保证元数据的安全性和一致性。

　　3）JN集群的节点数量一般为单数，使用过半机制，例如3个节点的集群可以允许一台宕机，5个节点的集群可以允许两台宕机。如果是偶数（一般不用偶数），6个节点的集群，也只能允许两台宕机。

3.Zookeeper：

　　1）每一个NN上存在一个Failover Controller进程（简称ZKFC），即图中蓝色椭圆部分。

　　2）Zookeeper提供选举机制，所有的NN通过ZKFC进程向Zookeeper申请成为主节点，即注册，谁注册成功，谁就是主节点，其余的为备用节点。

　　3）注册成功的NN会在Zookeeper上产生一个znode节点，节点之下是该NN的信息，我们可以把Zookeeper看成一个小型的数据库。

　　4）Zookeeper除了提供注册功能（register），还提供事件监控功能（event）。这里的事件是指NN是否出现故障，由处于NN节点上得ZKFC进程来监听，ZKFC提供健康监控和选举功能。当ZKFC发现NN出现故障，则马山通知Zeekeeper。

　　5）Zookeeper知道主节点挂掉后，则会通知SBNN节点（其实是SBNN委托Zookeeper来监控主节点）。

　　6）SBNN收到通知后，会将自己的级别从备提升为Active（这里实际上是一个由Zookeeper发起的回调，回调的是客户端的函数，这里的客户端就是ZKFC）。

　　7）当SBNN变成ANN后，他会强制性的将前任ANN的Active状态进行变更。避免形成Split brain（脑裂）情况出现。

二、部署时要注意的点（写在前面）

1.由于两个NN之间要互相操作（例如SBNN在NN出现问题的使用要操作NN，杀掉相应进程），所以两台NN之间需要相互做免秘钥登录。

2.在配置好Hadoop后，格式化HDFS之前，要先启动 Journal Nodes。

三、节点规划

我们对节点所要担任的角色进行规划：

1）NN-1和NN-2表示两个NameNode。

2）ZK集群有3个节点，分别在node02-04。

3）ZKFC一定是对应NameNode的。

4）JNN集群的三个节点分别在node01-03。

四、Hadoop HA配置流程及解释

参照官方文档：

https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

即基于QJM的HA环境搭建，另一种方式基于NFS（不推荐）。

1.NN之间免秘钥操作

# node01上操作
ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node02
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node03
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node04

# node02上操作
ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node01
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node03
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node04

2.配置hdfs-site.xml

参照官方文档中 Deployment 小节的 Configuration details部分：

先在hdfs-site.xml中为HA的多个NN节点定义一个逻辑名称，来代表这一组NN，这里叫mycluster：

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

然后定义这里HA有哪些NN节点：

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

定义nn1和nn2的确切节点名(这里的nn1要与前面对应，可修改为自己想要的名称)：

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>

注意：这里的端口号默认是8020，在前面我们部署的单节点情况下，使用的是9000端口。

定义http的访问端口，即提供WEB访问服务的端口号(这里同单节点一样，使用50070端口)：

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

定义JNN节点的edits.dir：

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>

注意：这里的格式要正确，只需要修改JN所处的实际节点，端口是8485，最后的mycluster是我们的HA逻辑ID，但可以不与HA逻辑名相同，主要是用于区分多个HA集群共用一个JNN的情况。

指定NN进行故障转移时，使用的代理类（这里照着官方网站配就行）：

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

定义SBNN在要接替前任ANN时，如何来隔离前任ANN（可能是登录前任ANN来杀掉进程），从而保证只有一个Active节点来写JNN，避免Split brain的发生：

这里采用ssh的方式来隔离：

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

注意：这里使用的是私钥，需要将id_rsa的绝对路径配置进去。（秘钥有rsa和dsa两种，都可以）

定义JN的edits存放位置（前面配置的dfs.namenode.shared.edits.dir只是指定了JNN的节点位置）：

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/hadoop/ha/journalnode</value>
</property>

3.配置core-site.xml

在配置完hdfs-site.xml后，已经定义了逻辑名、包含节点、服务端口等信息。此时，要在core-site.xml中配置对应的信息。

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

注意：我们之前在部署单NN节点时，这里使用的是hdfs://node01:9000，这里需要修改成HA集群的逻辑ID。

定义数据的存储位置：

<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/hadoop/ha</value>
</property>

注意：将全分布式的/var/hadoop/full修改为/var/hadoop/ha；

4.启动JNN集群（重要）

修改完Hadoop的配置文件，在格式化HDFS之前，需要首先启动JNN集群，否则edits文件没有地方存储，则无法启动Hadoop。