logstash5安装并实现mariadb数据写入到elasticsearch

摘要:
默认情况下,这里安装了java环境。通常,这里没有提到源代码安装。首先,安装logstash。可以使用yum或源代码installation:yum installation:1安装Logstash。导入GPG:rpm-importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch2.创建一个repo文件,vim/etc/yum.repo.d/logstach.repo[logstach-5。x(x)]

java环境这里默认安装了 ,一般源码安装,这里就不说了

一、安装logstash

安装logstash可以用yum安装,也可以用源码安装:

yum安装:

1.导入GPG:

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.创建repo文件,vim /etc/yum.repos.d/logstash.repo

[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.安装logstash

yum install logstash

二、源码安装(推荐)

1.官网下载需要的稳定版本

2.解压:

unzip logstash-5.5.2.zip

3.移到安装目录,创建软链接,我这里安装到/opt/app目录

mv logstash-5.5.2 /opt/app/
ln -s logstash-5.5.2/ logstash

4.修改配置文件

vim /opt/app/logstash/config/logstash.yml

path.data: /opt/app/logstash/data/
pipeline.workers: 32
pipeline.output.workers: 4
pipeline.batch.size: 125
path.config: /opt/app/logstash/etc  #放配置文件
config.reload.automatic: false      #这里yes的话后面会报错,后面有提到这个问题
config.reload.interval: 3
path.logs: /data/logs/logstash

vim /opt/app/logstash/config/startup.options  修改部分选项如下:

JAVACMD=/opt/app/jdk/bin/java
LS_HOME=/opt/app/logstash
LS_JAVA_OPTS="/opt/app/jdk"
LS_PIDFILE=/opt/app/logstash/run/logstash.pid
LS_USER=logstash
LS_GROUP=logstash
LS_GC_LOG_FILE=/data/logs/logstash/gc.log

5.创建目录和用户

useradd -g 549 -u 549 logstash -s /sbin/nologin
mkdir /opt/app/logstash/run -p
mkdir /data/logs/logstash -p
mkdir /opt/app/logstash/data/ -p
mkdir /opt/app/logstash/etc -p
chown logstash:logstash /opt/app/logstash -R
chown logstash:logstash  /data/logs/logstash

6.创建启动脚本,通过systemd管理:

vim /etc/systemd/system/logstash.service

[Unit]
Description=logstash

[Service]
Type=simple
User=logstash
Group=logstash
EnvironmentFile=-/etc/default/logstash
#ExecStart=/opt/app/logstash/bin/logstash
ExecStart=/opt/app/logstash/bin/logstash --path.settings /opt/app/logstash/config
ExecStop=/bin/kill -s QUIT $MAINPID
Restart=always
WorkingDirectory=/
Nice=19
LimitNOFILE=16384

[Install]
WantedBy=multi-user.target

vim /etc/default/logstash

JAVACMD="/opt/app/jdk/bin/java"
LS_HOME="/opt/app/logstash"
LS_SETTINGS_DIR="/opt/app/logstash/config"
LS_PIDFILE="/opt/app/logstash/run/logstash.pid"
LS_USER="logstash"
LS_GROUP="logstash"
LS_GC_LOG_FILE="/data/logs/logstash/gc.log"
LS_OPEN_FILES="16384"
LS_NICE="19"
SERVICE_NAME="logstash"
SERVICE_DESCRIPTION="logstash"

这样logstash就可以启动了

三、实现logstash写入mariadb数据到elasticsearch

1.安装插件:(这是一个基于jdbc的数据导入插件,可以从各种能对接此驱动的数据库导入数据到ES,还可以自行设定导入执行频率,规则等。

cd /opt/app/logstash
bin/logstash-plugin install logstash-input-jdbc

出现success表明安装成功

tips:

安装插件国外源太慢,解决办法:

(1)先安装gem

yum install gem

(2)替换国内的镜像

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

(3)验证是否成功

#gem sources -l
***CURRENTSOURCES***

https://gems.ruby-china.org/

(4)修改Gemfile数据源地址

cd /opt/app/logstash
修改Gemfile文件的source的值为:“https://gems.ruby-china.org/”
修改Gemfile.jruby-1.9.lock文件的remote的值为:“https://gems.ruby-china.org/

(5)执行安装插件

bin/logstash-plugin install logstash-input-jdbc

2.安装所需的java驱动包:

下载地址

解压到自定义目录,这个路径会在logstash配置文件中配置使用,我这里是:

/opt/app/logstash/lib/mysql-connector-java-5.1.44

3.生成配置文件,这里有工具可以生成

、、、、、、

tips:

logstash 启动后报错:

Logstash is not able to start since configuration auto reloading was enabled but the configuration contains plugins that don't support it. Quitting... {:pipeline_id=>"main", :plugins=>[LogStash::Inputs::Stdin]}

解决办法:

config.reload.automatic: false #关闭这个选项

免责声明:文章转载自《logstash5安装并实现mariadb数据写入到elasticsearch》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Windows2003服务器IIS优化:启用Gzip 压缩VS2019 开发AngularJS(TypeScript)代码缩进处理下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Chrome浏览器 v68.0.3440.106 正式版怎么样?

谷歌浏览器Google Chrome稳定版迎来v68正式版第三个维护版本发布,详细版本号为v68.0.3440.106,上一个正式版v68.0.3440.84发布于8月1日,时隔8天Google又发布了新版Chrome浏览器,本次升级主要是更新了安全修复和稳定性改进及用户体验。chrome浏览器下载地址:http://chromecj.com/catego...

Android 多媒体视频播放一( 多媒体理解与经验分享)

前言 说到android的多媒体,一把辛酸一把泪,当初听说会多媒体的比较牛掰,公司也有需求,于是乎我也积极的加入研究android多媒体的行列,记得以前刚接触的时候,最开始还是比较头大的,主要是但是很多细节比较零散凌乱,无法形成规律模式和合理的解决方案,但是慢慢也虽然接触了久了,很多事情也就明白过来了,接触android三年多四年了,慢慢的也有些学习和做事...

App性能测试之耗电量

手机app的主要耗电场景有: (1)cpu:复杂的运算逻辑、死循环等会直接导致CPU负载过高,会导致耗电;(2)wakelock:只要有应用拿到wakelock这个锁,系统就无法进入睡眠状态。频繁wakelock或者申请了wakelock没有释放,会导致耗电;(3)wifiscan和wifilock:wifiscan和wifilock也会导致手机的wif...

Monkey测试工具介绍

----------------------------------------------------------------------------------------------------- Monkey 简介 Monkey是Android系统的一个命令行工具,可以运行在模拟器、真机设备中。它向系统或软件发送伪随机的用户事件流(如键盘输入、触摸...

Eclipse超级完美汉化教程

转自:http://jingyan.baidu.com/article/e75057f28401a8ebc91a899e.html 是中国人都喜欢汉化的东西,除非你想挑战英文,抑或你就是英语高手。百度一下eclipse中文版,眼花缭乱,不知道哪个才是。于是随便下载一个,不幸运的话,不是病毒就是英文版的,或者是“残缺版”的,让人煞费苦心。好吧,教大家一个纯...

KB242450:如何使用关键字和查询词查询 Microsoft 知识库

KB242450:如何使用关键字和查询词查询 Microsoft 知识库 http://support.microsoft.com/kb/242450 http://support.microsoft.com/default.aspx?scid=kb;EN-US;242450  http://support.microsoft.com/kb/242450/z...