介绍：搭建一个高可用的web集群项目，能承受高并发的请求，任何一台服务器的退服不影响整个集群的运作，并且能对各个服务器的状态进行监控 运用技术： CentOS Linux release 8.0.1905 (Core)、nginx/1.17.9、ansible/2.9.9、nfs-utils/1:2.3.3-26、zabbix/4.4.6、keepal...
kafka介绍 kafka 最开始是 Linkedin 用来处理海量的日志信息，后来 linkedin 于 2010 年贡献给了 Apache 基金会并成为了顶级项目。 后来开发 kafka 的一些人出来创立了一家公司 confluent，专门从事 kafka 的开发维护和在它之上提供各种服务。 现在 kafka 把它定义为一个分布式数据流处理平台。 ka...
一：elasticsearch原理 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，...
转载： http://arganzheng.life/redis-cluster.html Redis3.0版本加入了cluster功能，解决了Redis单点无法横向扩展的问题。 分布式系统要解决的不外乎以下两个问题： sharding/partition 以提高系统的吞吐率 replication 以提供系统的高可用 然后因为sharding了，所...
1. Linux系统配置 1.1. vm.overcommit_memory设置 overcommit_memory文件指定了内核针对内存分配的策略，其值可以是0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管...
什么Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKe...
Keepalived简介 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。...
Web集群是由多个同时运行同一个web应用的服务器组成，在外界看来就像一个服务器一样，这多台服务器共同来为客户提供更高性能的服务。集群更标准的定义是：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理，此单一系统为客户工作站提供高可靠性的服务。而负载均衡的任务就是负责多个服务器之 间（集群内）实现合理的任务分配，使这些服务器（集群）不...
Cerebro 是以前的 Elasticsearch 插件 Elasticsearch Kopf 的演变 – 这不适用于 Elasticsearch 版本5.x或更高版本，这是由于删除了 site plugins。 https://github.com/lmenezes/elasticsearch-kopf Cerebro 是查看分片分配和最有用的界面之一...
以包含四个节点的集群为例，其中包括一个 ceph-deploy 管理节点和一个三节点的Ceph存储集群。 下图中每个节点代表一台机器。 创建一个 Ceph 存储集群，它有一个 Monitor 和两个 OSD 守护进程。一旦集群达到 active + clean 状态，再扩展它：增加第三个 OSD 、增加元数据服务器和两个 Ceph Monitors。为获...