阿里云Canal 数据同步

摘要:
阿里云运河数据同步1。同步工作原理:模拟MySQL从机交互协议,并将转储协议发送给MySQL Mater。MySQL Mater接收Canal发送的转储请求,并启用账户和二进制日志;2.2安装Canal服务器,配置文件,启动Canal.deployer--1.1.4龄tup.bat2.3Canal客户端代码获取数据,并将数据写入另一个同步的MySQL;

阿里云Canal 数据同步

1.同步工作原理:
把自己伪装成MySQL slave,模拟MySQL slave的交互协议向MySQL Mater发送 dump协议,MySQL mater收到canal发送过来的dump请求,开始推送binary log给canal,然后canal解析binary log,再发送到存储目的地,比如MySQL,Kafka,Elastic Search等等。


2.环境搭建配置:
2.1配置mysq5.7; 账号和开启binary-log;

2.2安装canal 服务端,配置文件并启动
canal.deployer-1.1.4instartup.bat

2.3 canal客户端编码获取数据,并将数据写入同步的另一个mysql;

注意: 不支持双向数据同步的问题:容易产生死循环;


参考:
https://blog.csdn.net/weixin_41657391/article/details/109110361

canal客户端编码 参考阿里云c# demo
https://github.com/alibaba/canal
canal c# 客户端: https://github.com/dotnetcore/CanalSharp

免责声明:文章转载自《阿里云Canal 数据同步》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇github中git bash基础命令行Joomla安装图文教程 (送 Joomla 中文语言包)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

分布式事务分布式锁的常用解决方式

一、分布式中的CAP原则 1.1 CAP的概念 CAP原则指的是在一个分布式系统中,Consistency(一致性)、Availability(可用性)、Partition tolerance(分区容错性),最多只能满足两个,三者不能兼得 Consistency(一致性) 指的是对于每一次的读取操作,要么都能够读取到最新的写入数据,要么就错误 Avail...

go语言并发

go语言并发 goroutine goroutine格式 为一个普通函数创建 goroutine 的写法如下: go funcName(参数列表) 为一个匿名函数创建goroutine的写法如下 go func(参数列表){ 函数体 }(参数列表) goroutine创建流程 Go 程序从 main 包的 main() 函数开始,在程序启动时,运行时...

数据同步工具otter(一)谈谈binlog和canal

之前因为懒,没有针对otter做更多的解释和说明,在使用过程中,也发现了一些问题,此次补上一个完整的文档,方便大家使用。 Otter是基于cannal开源的,canal又是基于mysql binlog的产品。我们就从binlog说起 binlog mysql的binlog日志是被设计用来作主从备份或者数据恢复用的。binlog是The Binary Lo...

MongoDB(课时5 数据查询)

3.4.2 数据查询 对于数据的查询操作核心语法: db.集合名称.find({查询条件}, {设置显示的字段})    范例:没查询条件 db.info.find() 范例:有查询条件,查询出url为"www.mldn.cn"的数据 db.info.find({"url" : "www.mldn.cn"}) 进行数据查询的时候是按照JSON的形式设置...

Word Excel PPT 2016三合一办公应用实战从入门到精通 超值版

Word Excel PPT 2016三合一办公应用实战从入门到精通 超值版 前言Preface 1 Word文档的基本编辑 1.1 制作《工作总结》 1.1.1 新建空白文档 1.1.2 输入文本内容 1.1.3 内容的换行——软回车与硬回车的应用 1.1.4 输入日期内容 1.1.5 保存文档 1.1.6 关闭文档 1.2 制作《工作计划书》 1.2....

将xls/csv数据导入到ES中

一.导入MySQL数据库中 (1)通过Navicat导入向导直接导入即可 (2)代码方式导入 【如果字段太多,这种方式做肯定不现实】 csv导入mysql数据库 -- 按需修改即可 package com.blb.mysql_java_es.util; import org.springframework.context.annotation.Bean...