1.数据同步看数据量和增删改查的原因确定是否是增量同步还是全量同步 1.一般mongo表使用增量数据，因为我们业务数据mongo存储的内容较多，如果每天都使用使用全量的话，占用太大了（不区别etl_dt） 2.一般mysql表使用全量数据，因为mysql表极限在千万级别，所以删除和修改的操作更多一些，整体量级比mongo小，这样可以使用全量（每一个etl_...
前言 Redis高可用的方案包括持久化、主从复制（及读写分离）、哨兵和集群。其中持久化侧重解决的是Redis数据的单机备份问题（从内存到硬盘的备份）； 而主从复制则侧重解决数据的多机热备。此外，主从复制还可以实现负载均衡和故障恢复。 一、主从复制概述 主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，...
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。之后，将以数据库为例，讲解在数据同步的情况下，如何解决数据回环、数据冲...
修改JavaScript脚本并离线编译后将数据同步到Web和Web app 一、背景 编写的JS代码需要同步到pad上的web app上测试，很多时候需要替换测试资源检查代码。这里通过修改JS代码并离线编译，将修改的测试资源同步到web app上面。 二、前提 需要一定的开发测试编译环境，具体如下： （1）JS开发环境搭建，见我前面写过的文章...
实战利用LVM卷镜像技术实现不停业务的数据在线迁移，核心存储升级混闪V7000F 一、介绍 所有数据从旧设备到新设备实现了高速在线迁移，业务系统进行了无缝衔接。整个迁移、切换过程关键设备零重启，对用户正常操作ERP画面未造成任何影响。 二、目的和意义 存储设备运行更加稳定 新的IBM V7000存储（2076-624）属于V7000系列的第三代产品，201...
1. 概述 我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面： 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。 当业务发生数据库切换时，切换前后的数据库内容应当一致，不会因为数据缺...
注：此文章笔者实验记录，欢迎大家指正 Solaris磁盘镜像恢复方法一： 系统启动，开机提示子镜像需要维护： 查看磁盘镜像信息 进入系统后，metastat -pc 和metadb #查看镜像状态与metadb数据库状态 替换故障硬盘，并对新硬盘进行格式转化，格式成solaris的磁盘格式 进行恢复 删除故障的metadb数据库...
一、rsync实现两台服务器数据同步的原理： Rsync 是基于rsync算法校验源(SRC)与目标(DEST)之间的差异实现数据同步的。也就是说，当使用rsync工具同步数据时候，只复制源(SRC)发生改变的文件，到目标(DEST)，这类似于增量备份。所以rsync同步数据的速度是很快的。但是rsync的传输性能有点差，在海量小文件需要同步...
一、需求 由于公司各个部门对业务数据的需求，比如进行数据分析、报表展示等等，且公司没有相应的系统、数据仓库满足这些需求，最原始的办法就是把数据提取出来生成excel表发给各个部门，这个功能已经由脚本转成了平台，交给了DBA使用，而有些数据分析部门，则需要运维把生产库的数据同步到他们自己的库，并且需要对数据进行脱敏，比如客户的身份证号、手机号等等，且数据来...