Zookeeper是一个分布式的开源系统，目的是为分布式应用提供协调一致性服务。 分布式应用可以在Zookeeper提供的简单原语集之上构造更高层次的服务。比如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Zookeeper使用了类似文件系统的文件夹树结构的数据模型，帮助简化程序编写。 眼下，一些...
Java连接Hive的方式就是通过JDBC的方式来连接，URL为jdbc:hive2://host:port/db;principal=X@BIGDATA.COM等，这种方式是直接连接HiveServer2服务的，但是在现实中，还有一种以Zookeeper的方式去连接，例如： jdbc:hive2://zk01:2181,zk02:2181,zk03:...
什么Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKe...
架构设计是一系列相关的抽象模式，是人们对一个结构内的元素及元素间关系的一种主观映射的产物。 一、计算机网络基础 A. OSI模型 OSIOpen System Interconnection，简称OSI模型或七层模型。开放系统互连参考模型，是国际标准化组织（ISO）和国际电报电话咨询委员会（CCITT）联合制定的开放系统互连参考模型，为开放式互连信息系统...
正文前先来一波福利推荐： 福利一： 百万年薪架构师视频，该视频可以学到很多东西，是本人花钱买的VIP课程，学习消化了一年，为了支持一下女朋友公众号也方便大家学习，共享给大家。 福利二： 毕业答辩以及工作上各种答辩，平时积累了不少精品PPT，现在共享给大家，大大小小加起来有几千套，总有适合你的一款，很多是网上是下载不到。 获取方式： 微信关注 精品3分钟...
https://zhuanlan.zhihu.com/p/24996631 众所周知，zookeeper与分布式有着千丝万缕的联系。它虽然源自于hadoop，但目前zookeeper脱离hadoop的范畴开发分布式应用越来越普遍，想到这里，不禁为hadoop扼腕叹息。 那么Zookeeper究竟是什么呢？ 从他的名字就可以看出来 ------ 动物园管理员...
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a distributed,partitioned,rep...
NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。 因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop...
1、引入业务场景 业务场景一出现： 因为小T刚接手项目，正在吭哧吭哧对熟悉着代码、部署架构。在看代码过程中发现，下单这块代码可能会出现问题，这可是分布式部署的，如果多个用户同时购买同一个商品，就可能导致商品出现库存超卖 (数据不一致)现象，对于这种情况代码中并没有做任何控制。 原来一问才知道，以前他们都是售卖的虚拟商品，没啥库存一说，所以当时没有考虑那么多...
一. 节点类型 二. Stat结构体1）czxid-创建节点的事务zxid 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。 2）ctime - znode被创建的...