Redis构建全局并发锁

摘要:
Redis分布式锁通过在Redis中创建密钥来控制并发。当其他进程准备好使用它时,它们只能等待密钥释放,然后使用它。Redis有一个原子指令setnx。当键存在时,它返回0,表示当前进程被占用。当它返回1时,它可以执行业务逻辑。此时,没有进程占用。执行逻辑后,您可以删除密钥并释放锁,这可以简单地控制并发。但仔细想想,你会发现如果Redis在执行setnx之后,在执行expire之前崩溃,它不会执行expire,而且还会导致死锁。

Redis构建全局并发锁

https://www.cnblogs.com/FG123/p/9990336.html

谈起Redis的用途,小伙伴们都会说使用它作为缓存,目前很多公司都用Redis作为缓存,但是使用Redis仅仅作为缓存未免太大材小用了。深究Redis的原理后你会发现它有很多用途,在很多场景下能够使用它快速地解决问题。常见的用途有:分布式锁控制并发、结合bloom filter用于推荐去重、HyperLogLog用于统计UV、限流控制流量等等;这里我谈下Redis分布式锁控制并发的问题。

高并发是个老生常谈的问题,当产品达到一定规模用户量后,这个问题是不得不考虑的,即使当前用户量不大(例如博主现在的公司),但自己平时在设计API的时候最好也尽可能地考虑到并发问题。

Redis分布式锁控制并发主要是通过在Redis里面创建一个key,当其它进程准备占用的时候只能等待key释放再占用。Redis里面有一个原子性指令setnx,当key存在时,它返回0,表示当前已有进程占用,当它返回1时可以执行业务逻辑,此时没有进程占用,等逻辑执行完后,可以删除key释放锁,这样可以简单的控制并发。

但是细想之下你会发现,在业务逻辑执行的过程中如果发生异常,此时key并没有删除,这样就会造成死锁,死锁带来的后果想必大家都很清楚。为了解决这个问题,可以在setnx加锁后设置key的过期时间,当key到期自动删除。

但是仔细想想你还会发现,如果在执行setnx后,执行expire前Redis发生宕机了,这样就不会执行expire,也会造成死锁。由于setnx与expire是两条命令,并且expire依赖setnx的执行结果,为了解决这个问题可以使用set key value [expiration EX seconds|PX milliseconds] [NX|XX] ,这是一条原子性的指令,同时包含setnx和expire。

使用python实现的代码:

复制代码
1 class RedisLock(object):
2 """
3 踩坑 Redis并发锁
4 """
5
6 def init(self, key):
7 self.redis_conn = get_redis_conn()
8 self.lock_key = "{}_redis_gil".format(key)
9
10 @staticmethod
11 def get_lock_value(cls):
12 """
13 获取value
14 :param cls:
15 :return:
16 """
17 cls.get_lok = cls.redis_conn.get(cls.lock_key)
18 return cls.get_lok
19
20 @staticmethod
21 def set_lock(cls, random_value):
22 """
23 不能使用setnx 没有设置过期时间,可能会出现死锁
24 引入random_value :自己加的锁只能自己释放
25 :param cls:
26 :param random_value:
27 :return:
28 """
29 cls._lock = cls.redis_conn.set(cls.lock_key, random_value, nx=True, ex=5)
30
31 # 如果返回null 表示key存在存在并发
32 if cls._lock:
33 return True
34 else:
35 LOGGER = logging.getLogger('core.utils')
36 LOGGER.warning(u"试题复制存在并发")
37 raise RsError("试题复制存在并发,请稍后再试")
38
39 @staticmethod
40 def release(cls):
41 """
42 释放锁
43 :param cls:
44 :return:
45 """
46 cls.redis_conn.delete(cls.lock_key)
47
48 @staticmethod
49 def redis_lock(cls):
50 """
51 只有当设置的value与do_something执行完后所获取的值相同时才删除key
52 防止在分布式redis中: clientA由于执行时间过期,clientB获取锁,
53 clientA执行完后释放锁(删除key),其实这时候删除的是B的key,
54 为防止这种情况引入random_value 只有当前值为random_value时才删除
55 :param cls:
56 :return:
57 """
58 random_value = time.time()
59 if cls.set_lock(cls, random_value):
60 do_something()
61 now_value = cls.get_lock_value(cls)
62 if now_value == random_value:
63 cls.release()
64 return True
65 else:
66 return False
67
68
69 def do_something():
70 pass
复制代码

在实际业务中调用Redis全局锁,进行加锁示例:

复制代码
1 # 公库试题复制到平台考虑并发问题,加锁处理
2 if self.visible_scope == 10:
3 key = hash(self.question_id)
4 cls = RedisLock(key)
5 cls.redis_lock(cls)
6 try:
7 self.insert_question()
8 except Exception:
9 raise RsError("试题插入失败")
10 finally:
11 cls.release(cls)
复制代码

如果是Redis集群下此方法可能仍然有问题,试想下:在一个redis集群中,主节点由于某种原因挂掉了,从节点变成了主节点,而此时redis锁还未同步到原从节点中,那么这个锁也就失效了,当其它进程申请锁时仍然可以申请成功。

针对这个问题,新版的redis引入了redlock,通过redlock.Redlock对多个redis节点进行加锁,当超过一半的节点加锁成功时锁才生效。这样在一定程度上提高了高可用性,但由于每次加锁和释放锁要对多个节点进行读写,所以性能上肯定是没有单节点锁高的。

免责声明:文章转载自《Redis构建全局并发锁》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇护眼营养补充剂之叶黄素SQL语句的三大类下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

【Redis】Redis5.0的一些新特性

redis5.0总共增加了12项新特性,如下:    1.新增加的Stream(流)数据类型,这样redis就有了6大数据类型,另外五种是String(字符串),Hash(哈希),List(列表),Set(集合)及Zset(sorted set有序集合)。它弥补了其它5种数据类型不能实现的功能,比如List数据类型只能先进先出,或者后进先出,不能从中间去数...

redis 在 php 中的应用(key篇)

本文为我阅读了redis参考手册之后结合博友的博客编写,注意 php_redis 和 redis-cli 的区别(主要是返回值类型和参数用法) 目录: KEY(键) DEL EXISTS EXPIRE EXPIREAT keys MOVE PERSIST TTL RANDOMKEY RENAME RENAMENX TYPE SORT KEY(...

redis pipeline

redis是一个cs模式的tcp server,使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常 会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下 Client: INCR XServer: 1Clien...

redis 命令行连接去除warning提示

[root@localhost monitor]# echo "config get *" | redis-cli -a 123456a? Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 1) "dbfi...

使用可视化工具redisclient连接redis

可视化工具推荐:http://database.51cto.com/art/201505/477692.htm 1.连接redis服务端   1.1 设置连接密码:在redis根目录下,双击redis-cli.exe, 输入命令:redis-cli.exe -h 127.0.0.1 -p 6379 -n 1    1就是密码     1.2  使用red...

Java八股文——Redis与一致性协议

Redis Redis数据结构   String字符串,list链表,hash键值对,set集合,sortedset有序集合,BloomFilter布隆过滤器   布隆过滤器原理:当一个元素被加入到集合中时,通过K个散列函数将元素分布到一个位数组上的K个点,查询该元素的时候,如果hash出来的这个K个点都为1,则说明元素可能存在,如果有一个为0,则说明元素...