logstash output时区差8个小时

摘要:
logstash版本6.3.2,解决方式如下,不需要修改源码:1input{2redis{3host=˃"127.0.0.1"4port=˃"6379"5password=˃"password"6db=˃07key=˃"key_test"#队列名称8data_type=˃"list"#队列类型9threads=˃110}11}12filter{13ruby{14code=˃"event.set"15}16ruby{17code=˃"event.set"18}19mutate{20remove_field=˃["timestamp"]21}22}23output{24elasticsearch{25hosts=˃["127.0.0.1:9200"]26action=˃index27index=˃"index_test"#es中的索引名称28document_id=˃"%{id}"#以数据中的哪个字段做es中的_id29document_type=˃"type_test"#es中的mapping名称30codec=˃json_lines31}32file{33path=˃"/root/data/%{+yyyyMMddHH}.txt"34}35}logstash生成文件名中的日期是从@timestamp字段的值中获取,通过设置filter将timestamp中的时间转换成系统时间,问题解决。

logstash版本6.3.2,解决方式如下,不需要修改源码:

1 input { 
2 redis { 
3         host => "127.0.0.1"
4         port => "6379"
5         password => "password"
6         db => 0
7         key => "key_test"#队列名称
8         data_type => "list"#队列类型
9         threads => 1
10 }
11 }
12 filter {
13 ruby { 
14         code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" 
15 }
16 ruby {
17         code => "event.set('@timestamp',event.get('timestamp'))"
18 }
19 mutate {
20         remove_field => ["timestamp"]
21 }
22 }
23 output {
24 elasticsearch {
25         hosts => ["127.0.0.1:9200"]
26         action =>index
27         index => "index_test"#es中的索引名称
28         document_id => "%{id}"#以数据中的哪个字段做es中的_id
29         document_type => "type_test"#es中的mapping名称
30         codec =>json_lines
31 }
32     file{
33         path => "/root/data/%{+yyyyMMddHH}.txt"
34 }
35 }

logstash生成文件名中的日期是从@timestamp字段的值中获取,通过设置filter将timestamp中的时间转换成系统时间,问题解决。

免责声明:文章转载自《logstash output时区差8个小时》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇FP 某段SQL语句执行时间超过1个小时,并报错:ORA-01652: 无法通过 128 (在表空间 TEMPSTG 中) 扩展14.深入k8s:kube-proxy ipvs及其源码分析下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

.NET 搭建简单的通知服务

搭建简单的通知服务 Intro 很多情况下,我们都会遇到一些需要进行通知报警的场景,比如说服务器资源监控报警,抢到火车票后通知用户进行付款。 原来主要是用的钉钉群里的机器人来做的通知,周末看到原来做 【Server 酱】的大佬写了一个简单的基于企业微信的微信推送,代码是 PHP 的非常简单,可以参考:https://github.com/easychen/...

ELK批量删除索引

一、存在问题 用了一段时间elk发现如果索引长时间不删除,elk会越来越慢,重启elasticsearch服务器节点之前同步时间也会很长 二、解决方法(定期删除索引) 1.在elasticsearch节点上使用curl -XGET 'http://192.168.X.XX:9200/_cat/shards'查看索引 [root@192-168-x-x sc...

GBT28181中的RTP

国标中说h264数据按照RFC3984打包,但是国标的测试工具——SPVMN,却不支持RFC3984的打包方式。无奈之下直接用RFC3550的方式打包,其实就是分包,然后加上RTP头,对于一帧的结束,在RTP头中把MARK置1,并且在一帧的开始把时间戳增加而已。这种打包方式其实和RFC有冲突,打包处理的RTP数据用VLC播放解码不正常,但用SPVMN是可以...

Logstash过滤插件

filter初级 Logstash安装 ### 设置YUM源 # rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch # tee /etc/yum.repos.d/elastic.repo << EOF [logstash-5.x] name=Elastic repos...

微信开发(一):用JSAPI做微信支付+微信卡包(代金券)

做微信支付前期准备: 1,服务好开通微信支付。 2,公众账号ID:AppId。 3,公众账号密钥:AppSecret。 4,微信支付密钥:Key。 第一步:获取用户信息并跳转到需要微信支付的页面 public void ProcessRequest (HttpContext context) { var returnUr...

vue3.0 时间戳转时间

由于 3.0 移除了2.0 的 filters 后, 所以在3.0中,设置: <script lang="ts"> export default defineComponent({ name: "Home", setup() { // 时间戳转时间 func...