redis实现对账(集合比较)功能

摘要:
现状:这通常是系统之间日常订单对账的操作流程;1.从外部系统中提取数据并将其存储在本地数据库中;2.查询本地订单数据集localSet;3.查询外部系统的订单数据集outerSet;4.以本地localSet为基准,交叉引用outerSet,遍历,将不一致(数量、状态等)或存在于localSet但不存在于outerSet的数据放入新的集合localDiffSet;5.外部outerSet

现状:每日在进行系统之间的订单对账时,往往是这样的操作流程; 
1.从外部系统拉取数据存入本地数据库; 
2.查询本地订单数据集合localSet; 
3.查询外部系统订单数据集合outerSet; 
4.以本地localSet为基准,对照outerSet,进行遍历,将数据不一致(金额、状态等),或者localSet存在而outerSet不存在的数据,放入新集合localDiffSet; 
5.以外部outerSet为基准,对照localSet,进行遍历,将数据(金额、状态等)不一致,或者outerSet存在而localSet不存在的数据,放入新集合outerDiffSet; 
6.将localDiffSet与outerDiffSet的数据,存入差异账表 
问题: 
当比对数据无限多,数据全部在JVM中比对,对服务器的影响就比较大,执行效率也低下;

——redis解决方案

步骤一:外部系统数据拉取入库 
步骤二:从数据库查询需要比对的数据,本地数据(localSet),外部系统数据(outerSet)

//---查询订单信息,组成字符串
SELECT CONCAT(order_no,','outer_order_no,',',trans_amount,',',status) FROM `order_info` where create_time BETWEEN '2015-12-01 00:00:00' and  '2015-12-31 23:59:59'; 

为什么组合成字符串,而不是object对象;因为我们届时要比对的信息就是上述字段,如果字符串一致,那么就说明订单信息一致,而不用再去一一比对对象的属性; 
步骤三:将localSet与outerSet分别存入redis

//相关函数:redis.clients.jedis.JedisCluster.sadd(String key, String... member)
redisClusterUtils.sadd("{account}:localSet", "GM002215120800002,0.01,3","GM002215120800003,0.01,3");
redisClusterUtils.sadd("{account}:outerSet", "CZ001215120800010,0.01,3","CZ001215120800013,0.01,1");

注意点:这里的key,必须要用{}形式,来指定,使我们要比对的集合都处于同一slot,不然在稍后比对时会出现异常:

No way to dispatch this command to Redis Cluster because keys have different slots.

步骤四:进行2个集合的比对,得出交集union,将交集放入key”{account}:union”中

redisClusterUtils.sinterstore("{account}:union", "{account}:localSet", "{account}:outerSet");

步骤五:localSet和outerSet分别与交集进行比较,得出差集{account}:localDiff、{account}:outerDiff

redisClusterUtils.sdiffstore("{account}:localDiff", "{account}:localSet", "{account}:union");
redisClusterUtils.sdiffstore("{account}:outerDiff", "{account}:localSet", "{account}:union");

步骤六:将差集的数据存入数据库差异账表

//--获取差集的每个成员
redisClusterUtils.smembers("{account}:localDiff");
redisClusterUtils.smembers("{account}:outerDiff");

关于redis集合(Set)操作的的相关命令,Redis集合命令相关资料

转载:https://blog.csdn.net/qq_33144861/article/details/79467888

免责声明:文章转载自《redis实现对账(集合比较)功能》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇groovy脚本操作sqlu-boot的SPL源码流程分析下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

搭建一套完整的ELK系统

ELK日志收集系统介绍   一  简单介绍             ELK部署搭建有很多成型的方案,这里推荐一种比较中规中矩的方案,它整合了logstash比较消耗资源以及当服务端临时宕机的时候出现数据丢失的问题,主要由filebeat+redis+logstash+elasticsearch+kibana构成,在每个需要收集日志的机器上面下发filebe...

redis环境搭建(Linux)、Jredis

简介 1. NoSql是以key-value形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求,比如说遵循SQL标准,ACID属性,表结构等等,这类数据库主要有一下特点:非关系型的,分布式的,开源的,水平可扩展的。2. NoSql的特点:a) 处理超大量的数据。b) 运行在便宜的pc服务器集群上c) 击碎了性能瓶颈。3. NoSql适...

解析如何利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。 同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经...

Redis内存碎片率

一、 内存碎片率mem_fragmentation_ratio = used_memory_rss / used_memoryused_memory :Redis使用其分配器分配的内存大小used_memory_rss :操作系统分配给Redis实例的内存大小,表示该进程所占物理内存的大小两者包括了实际缓存占用的内存和Redis自身运行所占用的内存,us...

Linux下一次性清除Redis所有缓存

Linux下一次性清除Redis所有缓存 第一步:进入redis客户端   1.查看进程  ps -ef|grep redis   2.执行./redis-cli或者./redis-cli -h 127.0.0.1 -p 6379 第二步:执行dbsize命令(查看缓存大小) 127.0.0.1:6379> dbsize 第三步:清理。命令 flu...

redis info详解

192.168.64.102:9021> info all# Server(服务器信息)redis_version:3.0.0                              #redis服务器版本redis_git_sha1:00000000                  #Git SHA1redis_git_dirty:0    ...