Redis缓存篇(四)缓存异常

摘要:
缓存雪崩缓存雪崩意味着大量应用程序请求无法在Redis缓存中处理,然后应用程序向数据库层发送大量请求,导致数据库层压力激增。具体来说,当业务应用程序调用缓存接口时,缓存客户端不会将请求发送到Redis缓存实例,而是直接返回请求。Redis缓存实例恢复服务后,可以再次发送。二是提前预防,通过主从节点构建高可靠的Redis缓存集群。

这一节,我们来学习一下缓存异常。缓存异常有四种类型,分别是缓存和数据库的数据不一致、缓存雪崩、缓存击穿和缓存穿透。

下面通过了解这四种缓存异常的原理和应对方法。

缓存和数据库的数据不一致

缓存和数据库的数据一致性包含两种情况:

  • 缓存中有数据,缓存的数据值需要和数据库中的值相同;
  • 缓存中没有数据,数据库中的值必须是最新值。

数据不一致是如何发生的?

第1讲中关于缓存的类型那节,介绍了缓存有两种不同类型,分别是只读缓存和读写缓存。不同类型的缓存数据不一致的发生情况不一样,应对方法也不一样。

读写缓存:有两种写回策略,同步直写和异步写回。如果要保证数据一致,就要采用同步直写策略。但需要保证缓存和数据库的更新具有原子性,即要么都成功,要么都失败。

只读缓存:分新增数据和删改数据两种情况说明。

新增数据

数据直接写到数据库中,不对缓存做任何操作,符合一致性的第2种情况。

删改数据

发生删改操作时,既要更新数据库,也要在缓存里删除数据。因为缓存和数据库是不同的系统,这里分两种情况:

  • 先删除缓存,再更新数据库:数据库更新失败,导致请求再次访问缓存时,发现缓存失败,再读数据库时,从数据库中读取旧值。
  • 先更新数据库,再删除缓存:缓存删除失败,导致请求再次访问缓存时,发现缓存命中,并从缓存中读取到旧值。

如何解决数据不一致?

使用重试机制,指把删除的缓存值或者是要更新的数据库值暂存到消息队列中(例如使用Kafka消息队列)。

当应用没有能够成功地删除缓存值或者是更新数据库值时,从消息队列中重新读取这些值,然后再次进行删除或更新。

如果成功删除,就从消息队列中删除,以免重复操作。否则就要进行重试,如果重试超过一定次数,就要向业务层发送报错信息。

具体情况如下图所示:

image

总结一下,对于只读缓存来说,建议优先使用先更新数据库,再删除缓存

缓存雪崩

缓存雪崩,指大量的应用请求无法在Redis缓存中进行处理,然后应用将大量请求发送到数据库层,导致数据库层的压力激增。

导致缓存雪崩的两个原因:

1. 缓存中有大量数据同时过期,导致大量请求无法得到处理。

解决方案有两个,一是避免给大量的数据设置相同的过期时间,增加一个较小的随机数(例如,随机增加1~3分钟)。

另一个是服务降级,服务降级指发生缓存雪崩时,针对不同的数据采取不同的处理方式:

  • 非核心数据,暂时停止从缓存中查询,直接返回预定义信息、空值或者错误信息;
  • 核心数据,允许查询缓存,如果缓存缺失,继续通过数据库读取。

2. Redis缓存实例发生故障宕机了,无法处理请求。

有两个建议,一是在业务系统中实现服务熔断或请求限流机制

服务熔断是指在发生缓存雪崩时,为了防止引发连锁的数据库雪崩,暂停业务应用对缓存系统的接口访问。

具体点,就是业务应用调用缓存接口时,缓存客户端并不把请求发给Redis缓存实例,而是直接返回,等Redis缓存实例重新恢复服务后,再允许发送。

服务熔断会暂停了整个缓存系统的访问,对业务应用的影响范围大。而请求限流相比服务熔断造成的影响没那么大。

请求限流是指业务系统的请求入口前端控制每秒进入系统的请求数,避免过多的请求被发送到数据库。

二是事前预防,通过主从节点构建Redis缓存高可靠集群。

缓存击穿

缓存击穿,指针对某个访问非常频繁的热点数据的请求,无法在缓存中进行处理,大量请求发送到后端数据库,导致数据库压力激增,影响数据库处理其他请求。

解决方案是,对于访问特别频繁的热点数据,不设置过期时间

缓存穿透

缓存穿透,指要访问的数据既不在Redis缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库时,也发现没有数据。

如果有大量请求访问数据,就会同时给缓存和数据库带来巨大压力。

发生缓存穿透有两种情况:

  • 业务层误操作:缓存中的数据和数据库中的数据被误删除;
  • 恶意攻击:专门访问数据库中没有的数据。

为了避免缓存穿透,有三种应对方案。

第一种方案是,缓存空值或缺省值

一旦发生缓存穿透,就针对查询的数据,在Redis中缓存一个空值或是和业务层协商确定的缺省值。

第二种方案是,使用布隆过滤器快速判断数据是否存在,避免从数据库中查询数据是否存在,减轻数据库压力

布隆过滤器由一个初值都为0的bit数组和N个哈希函数组成,可以用来快速判断某个数据是否存在。

通过三个操作完成标记:

  • 使用N个哈希函数,分别计算这个数据的哈希值,得到N个哈希值
  • 把这N个哈希值对bit数组的长度取模,得到每个哈希值的位置
  • 把对应的位置的bit位设置为1

这样一来,即使发生缓存穿透,大量请求只会查询Redis和布隆过滤器。

第三种方案是,在请求入口的前端进行请求检测

例如对请求进行合法性检测,把恶意的请求(例如请求参数不合理、请求参数是非法值、请求字段不存在)直接过滤掉

总结

image

另外还有三个建议:

  • 针对缓存雪崩,合理地设置数据过期时间,以及搭建高可靠缓存集群。
  • 针对缓存击穿,在缓存访问非常频繁的热点数据时,不要设置过期时间。
  • 针对缓存穿透,提前在入口前端实现恶意请求检测,或者规范数据库的数据删除操作,避免误删除。

参考资料

免责声明:文章转载自《Redis缓存篇(四)缓存异常》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇五十二、SAP中的可编辑表格LVCspringboot 通过配置文件 控制Rabbitmq 启动下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

psql常用命令

cmd命令 pg_ctl --version:查看pgsl版本 pg_ctl -D /xx/pgdata start:启动pgsl数据库 注:必须在环境变量中设置了PGDATA后才能省略-D参数 ,可以参照这篇论文PostgreSQL环境变量与psql命令的替代作用,但是里面没有讲PGDATA目录的位置 psql -h Server -p Port -U...

Mybatis查询在数据库中有但在代码中没有

代码是这样的: HashMap<String, Object> param = new HashMap<String, Object>(); param.put("ystJg", ystJg); List<xtglbm> ystjg = bd.getYstJg(param); Mapper是这样的 <select...

数据库高并发的设计

参考博文 现在公司要做一个数据库方案,总体目标是要存约 200T 的数据,机器不是问题。http://topic.csdn.net/u/20100317/12/fecc83b6-4849-48cf-a20b-24d552fd1cd0_2.html如何构建千万用户级别后台数据库架构设计的思路http://www.mysqlops.com/2011/11/22...

ArcGIS平台中PostgreSQL数据连接配置总结

     通常用户在使用要素服务时,要求数据必须是存放在空间数据库中的。同时,需要将数据库注册到ArcGIS for Server,这样在发布服务时就不需要进行数据拷贝,从而可以节省磁盘空间及服务发布时间。以下就ArcGIS平台的Desktop和Server产品中如何使用PostgreSQL数据库进行总结,包括Linux版的ArcGIS for Serve...

redis学习笔记——主从同步(复制)

在Redis中,用户可以通过执行SLAVEOF命令或者设置slaveof选项,让一个服务器去复制(replicate)另一个服务器,我们称呼被复制的服务器为主服务器(master),而对主服务器进行复制的服务器则被称为从服务器(slave),如图所示。 假设现在有两个Redis服务器,地址分别为127.0.0.1:6379和127.0.0.1:12345...

linux下操作PostgreSQL的常用命令

一般性: copyright 显示PostgreSQL的使用和发行许可条款g [文件] or; 执行查询 (并把结果写入文件或 |管道)h [名称] SQL命令语法上的说明,用*显示全部命令的语法说明q 退出 psql 查询缓存区e [FILE] [LINE] 使用外部编辑器编辑查询缓存区(或文件)ef [FUNCNAME [LINE]] 使用外部编辑器编...