Elasticsearch logstsh同步mysql数据到ES中

摘要:
预先创建索引注意Logstash的版本要与ES的版本保持一致。cd/home/toolstar-zxvflogstash-7.4.2.tar.gzmvlogstash-7.4.2/usr/local/安装JDK,我这里安装的是1.8版本5、同步配置cd/usr/local/logstash-7.4.2mkdirsync1)items.sqlcdsyncviitems.sql2)将mysql-connector-java-5.1.48.jar拷贝到/usr/local/logstash-7.4.2/logstash-core/lib/jars3)配置文件cd/usr/local/logstash-7.4.2/syncvilogstash-db-sync.confinput{jdbc{#设置MySql/MariaDB数据库url以及数据库名称jdbc_connection_string=˃"jdbc:mysql://192.168.1.104:3306/shop?

1、准备:

1) 启动前面搭建的ES集群, 192.168.127.130,192.168.127.128,192.168.127.129

2) 准备要同步的数据库和数据 数据库所在的服务器IP为192.168.1.104 数据库端口为3306 数据库名shop,表名items

items的表结构如下

Elasticsearch logstsh同步mysql数据到ES中第1张

items表的数据如下

Elasticsearch logstsh同步mysql数据到ES中第2张

这里有两条数据,实际环境会有更多的数据。

3) 创建items索引

5个分片和1个副本

Elasticsearch logstsh同步mysql数据到ES中第3张

2、版本信息

ElasticSearch 7.4.2

Logstash 7.4.2

3、Logstash介绍

数据采集,从数据库中采集数据到ElasticSearch

以id或者update_time 作为同步边界

logstash-input-jdbc插件。

预先创建索引

注意Logstash的版本要与ES的版本保持一致。

4、Logstash下载

官网下载太慢,建议下载地址,https://www.newbe.pro/Mirrors/Mirrors-Logstash/

我这里下载的版本为7.4.2

登录192.168.127.130 服务器,下面的操作也是在130这台服务器中进行。

cd /home/tools

tar -zxvf logstash-7.4.2.tar.gz

mv logstash-7.4.2 /usr/local/

安装JDK,我这里安装的是1.8版本

5、同步配置

cd /usr/local/logstash-7.4.2

mkdir sync

1) items.sql

cd sync

vi items.sql

Elasticsearch logstsh同步mysql数据到ES中第4张

2) 将mysql-connector-java-5.1.48.jar 拷贝到/usr/local/logstash-7.4.2/logstash-core/lib/jars

3) 配置文件

cd /usr/local/logstash-7.4.2/sync

vi logstash-db-sync.conf

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.1.104:3306/shop?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "123456"
        # 数据库驱动所在位置,可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-7.4.2/logstash-core/lib/jars/mysql-connector-java-5.1.48.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量,可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-7.4.2/sync/items.sql"
        # 设置定时任务间隔  含义:分、时、天、月、年,全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果,也就是上次更新的时间,这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-7.4.2/sync/track_time"
        # 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间
        tracking_column => "update_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录,true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.127.130:9200","192.168.127.128:9200","192.168.127.129:9200"]
        # 同步的索引名
        index => "items"
        # 设置_docID和数据相同
        document_id => "%{id}"
        # document_id => "%{itemId}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

补充: 如果 192.168.1.130 连接不上mysql(192.168.1.104),在mysql所在的服务器中修改访问权限

如允许所有的IP访问Mysql

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';

6、启动同步

cd /usr/local/logstash-7.4.2/bin

./logstash -f /usr/local/logstash-7.4.2/sync/logstash-db-sync

Elasticsearch logstsh同步mysql数据到ES中第5张

如上图所示,数据已经在同步了。

7、查看同步的数据

Elasticsearch logstsh同步mysql数据到ES中第6张

可以看到,数据已经从MySQL同步到了ES中了。

免责声明:文章转载自《Elasticsearch logstsh同步mysql数据到ES中》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇offsetLeft, offsetTop以及postion().left , postion().top有神马区别系统优化系列下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

搜索和浏览离线 Wikipedia 维基百科(中/英)数据工具

  为什么使用离线维基百科?一是因为最近英文维基百科被封,无法访问;二是不受网络限制,使用方便,缺点是不能及时更新,可能会有不影响阅读的乱码。   目前,主要有两种工具用来搜索和浏览离线维基百科数据:Kiwix 和 WikiTaxi 。这两种都是免费的,但 WikiTaxi 只有 Windows 版本,而 Kiwix 不仅支持 Windows、Linux...

借助AWR报告分析解决oracleCPU过高的问题(转)

原文地址:http://www.cnblogs.com/crystal-guoguo/p/4213458.html 简介:在oracle数据库中,有两个非常实用的自带监控工具EM(Enterprise Manager)和AWR(Automatic Workload Repository)。其中,通过AWR报告可以生成易于阅读的监控报告,可协助进行性能问题的...

菜鸡之NetCore 使用EF操作数据库 Oracle & Sqlserver (一)

摘要:   该篇文章主要记录netCore EFCore 如何操作Oracle和SqlServer 数据库,采用Codefirst方式创建数据库以及表。 一, 项目建立   项目采用DDD领域驱动设计模式【学习中】,目录介绍   1. Application :服务层,【暂时不建立服务】   2. Domain :业务领域层,主要就是一些仓储定义已经业务...

mysql8 安装,并且配置远程登录

1.下载mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz 安装包 下载地址:https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz 2.解压mysql-8.0.18-linux-glibc2.12-x86_...

SQL Server 2016 CTP2.2 的关键特性

SQL Server 2016 CTP2.2 的关键特性 正如微软CEO 说的,SQL Server2016 是一个Breakthrough Flagship  Database(突破性的旗舰级数据库) SQL Server2016 CTP2.2是微软数据平台历史上迈出最大的一步,更快的事务处理和查询、任何设备更深入的洞察力、更先进的分析能力、全新安全技术...

高并发秒杀解决方案(转载)

原文链接:http://blog.csdn.net/caomiao2006/article/details/38568825 今天王总又给我们上了一课,其实mysql处理高并发,防止库存超卖的问题,在去年的时候,王总已经提过;但是很可惜,即使当时大家都听懂了,但是在现实开发中,还是没这方面的意识。今天就我的一些理解,整理一下这个问题,并希望以后这样的课程能...