Redis的cluster集群

摘要:
2.单点故障问题:还是用到Redis主从复制的功能,两台物理主机上分别都运行有Redis-Server,其中一个Redis-Server是另一个的从库,采用双机热备技术,客户端通过虚拟IP访问主库的物理IP,当主库宕机时,切换到从库的物理IP。
目前Redis实现集群的方法主要是采用一致性哈稀分片(Shard),将不同的key分配到不同的redis server上,达到横向扩展的目的。
对于一致性哈稀分片的算法,Jedis-2.0.0已经提供了,下面是使用示例代码(以ShardedJedisPool为例):
public classRedisShardPoolTest {

        staticShardedJedisPool pool;

        static{

                JedisPoolConfig config = new JedisPoolConfig();//Jedis池配置
config.setMaxActive(500);//最大活动的对象个数
config.setMaxIdle(1000 * 60);//对象最大空闲时间
config.setMaxWait(1000 * 10);//获取对象时最大等待时间
config.setTestOnBorrow(true);

                String hostA = "127.0.0.1";

                int portA = 6378;

                String hostB = "127.0.0.1";

                int portB = 6379;

                List<JedisShardInfo> jdsInfoList = new ArrayList<JedisShardInfo>(2);

                JedisShardInfo infoA = newJedisShardInfo(hostA, portA);

                infoA.setPassword("testpass");

                JedisShardInfo infoB = newJedisShardInfo(hostB, portB);

                infoB.setPassword("testpass");

                jdsInfoList.add(infoA);

                jdsInfoList.add(infoB);

                pool = newShardedJedisPool(config, jdsInfoList, Hashing.MURMUR_HASH,

                Sharded.DEFAULT_KEY_TAG_PATTERN);


        }

        /**
         * 
         * @param args
         * 
         */

        public static voidmain(String[] args) {

                for (int i = 0; i < 100; i++) {

                        String key =generateKey();
                        ShardedJedis jds = null;

                        try{
                                jds =pool.getResource();

                                System.out.println(key + ":"
                                                +jds.getShard(key).getClient().getHost());
                                System.out.println(key + ":"
                                                +jds.getShard(key).getClient().getPort());

                                System.out.println(jds.get(key));
                                System.out.println(jds.set(key,"1111111111111111111111111111111"));
                        } catch(Exception e) {
                                e.printStackTrace();
                        }
                        finally{
                                pool.returnResource(jds);

                        }
                }
        }

        private static int index = 1;

        public staticString generateKey() {

                return String.valueOf(Thread.currentThread().getId()) + "_" + (index++);

        }

}

从运行结果中可以看到,不同的key被分配到不同的Redis-Server上去了。

上面的集群模式还存在两个问题:

1. 扩容问题:


因为使用了一致性哈稀进行分片,那么不同的key分布到不同的Redis-Server上,当我们需要扩容时,需要增加机器到分片列表中,这时候会使得同样的key算出来落到跟原来不同的机器上,这样如果要取某一个值,会出现取不到的情况,对于这种情况,Redis的作者提出了一种名为Pre-Sharding的方式:


Pre-Sharding方法是将每一个台物理机上,运行多个不同断口的Redis实例,假如有三个物理机,每个物理机运行三个Redis实际,那么我们的分片列表中实际有9Redis实例,当我们需要扩容时,增加一台物理机,步骤如下:


A. 在新的物理机上运行Redis-Server


B. Redis-Server从属于(slaveof)分片列表中的某一Redis-Server(假设叫RedisA);


C. 等主从复制(Replication)完成后,将客户端分片列表中RedisAIP和端口改为新物理机上Redis-ServerIP和端口;


D. 停止RedisA


这样相当于将某一Redis-Server转移到了一台新机器上。Prd-Sharding实际上是一种在线扩容的办法,但还是很依赖Redis本身的复制功能的,如果主库快照数据文件过大,这个复制的过程也会很久,同时会给主库带来压力。所以做这个拆分的过程最好选择为业务访问低峰时段进行。




2. 单点故障问题:


还是用到Redis主从复制的功能,两台物理主机上分别都运行有Redis-Server,其中一个Redis-Server是另一个的从库,采用双机热备技术,客户端通过虚拟IP访问主库的物理IP,当主库宕机时,切换到从库的物理IP。只是事后修复主库时,应该将之前的从库改为主库(使用命令slaveofno one),主库变为其从库(使命令slaveofIP PORT),这样才能保证修复期间新增数据的一致性



最终部署的情况会是,分布式的每台server会有一个对应的备机(从机),这样即使有一个分布式的片机挂掉,对应的备机会接管,不会导致因为片机挂掉导致部分数据不能写进或取出的问题

附件是一份windows下redis服务端程序和客户端需要的jar包,附件下载后后缀改为.rar后解压缩
可以自己配置分布式和主从测试,
配置文件着重关注以下配置
服务端口和 绑定网卡IP
# Accept connections on the specified port, default is 6379
port 6178

# If you want you can bind a single interface, if the bind option is not
# specified all the interfaces will listen for connections.
#
# bind 127.0.0.1


是否为备机(IP:端口)
################################# REPLICATION #################################

# Master-Slave replication. Use slaveof to make a Redis instance a copy of
# another Redis server. Note that the configuration is local to the slave
# so for example it is possible to configure the slave to save the DB with a
# different interval, or to listen to another port, and so on.
#
slaveof 127.0.0.1 6378

认证密码
# If the master is password protected (using the "requirepass" configuration
# directive below) it is possible to tell the slave to authenticate before
# starting the replication synchronization process, otherwise the master will
# refuse the slave request.
#

最好深读官方的解决方案http://redis.io/topics/partitioning

免责声明:文章转载自《Redis的cluster集群》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Jenkins+Gradle+Git自动打apk包,并上传到ftp006.udp转发包并代理访问服务器总结下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

redis的管理和监控工具treeNMS

TreeNMS可以帮助您搭建起一套用于redis的监控管理系统,也支持Memcached,让您可以通过web的方式对数据库进行管理,有了它您就可以展示NOSQL数据库、编辑修改内容,另外还配备了sql语法帮助,让您的管理工作更加轻松。 一、安装 官网下载地址:http://www.treesoft.cn/dms.html(没有旧版本),若安装最新版本1.7...

SpringBoot入门到出家

SpringBoot的Actuator监控 Actuator:对系统的监控 是SpringBoot提供的对应用系统监控的集成功能,可以对系统进行配置查看,相关功能统计等,在Spring Cloud中,主要完成微服务的监控,可以查看微服务之间的数据处理和调用,当出现异常时,可以快速定位问题所在 其功能和Dubbo的监控中心类似,区别就是一个需要专门部署,而...

.net 分布式架构之分布式锁实现

分布式锁 经常用于在解决分布式环境下的业务一致性和协调分布式环境。 实际业务场景中,比如说解决并发一瞬间的重复下单,重复确认收货,重复发现金券等。 使用分布式锁的场景一般不能太多。 开源地址:http://git.oschina.net/chejiangyi/XXF.BaseService.DistributedLock 开源相关群: .net 开源基础服...

Redis布隆过滤器

一、布隆过滤器使用场景 比如有如下几个需求: ①、原本有10亿个号码,现在又来了10万个号码,要快速准确判断这10万个号码是否在10亿个号码库中? 解决办法一:将10亿个号码存入数据库中,进行数据库查询,准确性有了,但是速度会比较慢。 解决办法二:将10亿号码放入内存中,比如Redis缓存中,这里我们算一下占用内存大小:10亿*8字节=8GB,通过内存查询...

自建 Gitlab (邮箱配置、拆分 PostgreSQL、Redis) + 随想

前言 最近折腾了一番自建 gitlab,在此做个记录,供君参考。整个构建过程基于 Docker Swarm(近期有计划将微服务移植到 Kubernetes,但还没倒腾顺手,暂时先沿用旧的方案),主题配图与主题无关,请忽略...... 1. 快速启用 配置的一般原则是先可用再优化,简单启动 gitlab 只需要一条命令: sudo docker run --...

Redis——Springboot集成Redis集群

前言 在 springboot 1.5.x版本的默认的Redis客户端是 Jedis实现的,springboot 2.x版本中默认客户端是用 lettuce实现的。 Lettuce 与 Jedis 比较 Lettuce 和 Jedis 的都是连接 Redis Server的客户端。 Jedis 在实现上是直连 redis server,多线程环境下非线...