ELK 完整部署和使用

摘要:
本节讨论如何将日志导入ELK并以图形方式显示它们。几乎所有的软件和应用程序都有自己的日志文件。我们已经知道Docker会将容器日志记录到/var/lib/Docker/containers/<只要我们能够将这个文件发送给ELK,我们就可以实现日志管理。它可以将指定路径下的日志文件转发到ELK。它监控日志文件,Filebeat可以将日志发送到Elastic搜索以进行索引和保存;

上一节已经部署了容器化的 ELK,本节讨论如何将日志导入 ELK 并进行图形化展示。

几乎所有的软件和应用都有自己的日志文件,容器也不例外。前面我们已经知道 Docker 会将容器日志记录到 /var/lib/docker/containers/<contariner ID>/<contariner ID>-json.log,那么只要我们能够将此文件发送给 ELK 就可以实现日志管理。

要实现这一步其实不难,因为 ELK 提供了一个配套小工具 Filebeat,它能将指定路径下的日志文件转发给 ELK。同时 Filebeat 很聪明,它会监控日志文件,当日志更新时,Filebeat 会将新的内容发送给 ELK。

安装 Filebeat

下面在 Docker Host 中安装和配置 Filebeat。

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-amd64.debsudo dpkg -i filebeat-5.4.0-amd64.deb

当你看到这篇文章时,Filebeat 可能已经有了更新的版本,请参考最新的安装文档 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html

配置 Filebeat

Filebeat 的配置文件为 /etc/filebeat/filebeat.yml,我们需要告诉 Filebeat 两件事:

  1. 监控哪些日志文件?

  2. 将日志发送到哪里?

首先回答第一个问题。

ELK 完整部署和使用第1张

 paths 中我们配置了两条路径:

  1. /var/lib/docker/containers/*/*.log 是所有容器的日志文件。

  2. /var/log/syslog 是 Host 操作系统的 syslog。

接下来告诉 Filebeat 将这些日志发送给 ELK。

Filebeat 可以将日志发送给 Elasticsearch 进行索引和保存;也可以先发送给 Logstash 进行分析和过滤,然后由 Logstash 转发给 Elasticsearch。

为了不引入过多的复杂性,我们这里将日志直接发送给 Elasticsearch。

ELK 完整部署和使用第2张

如果要发送给 Logstash,可参考后半部分的注释。

当前的日志处理流程如下图所示:

ELK 完整部署和使用第3张

启动 Filebeat

Filebeat 安装时已经注册为 systemd 的服务,可以直接启动服务。

systemctl start filebeat.service

管理日志

Filebeat 启动后,正常情况下会将监控的日志发送给 Elasticsearch。刷新 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty 进行确认。

ELK 完整部署和使用第4张

这次我们能够看到 filebeat-*  index,以及 Filebeat 监控的那两个路径下的日志。

好,Elasticsearch 已经创建了日志的索引并保存起来,接下来是在 Kibana 中展示日志。

首先需要配置一个 index pattern,即告诉 Kibana 查询和分析 Elasticsearch 中的哪些日志。

ELK 完整部署和使用第5张

指定 index pattern  filebeat-*,这与 Elasticsearch 中的 index一致。

Time-field name 选择 @timestamp

点击 Create 创建 index pattern

点击 Kibana 左侧 Discover 菜单,便可看到容器和 syslog 日志信息。

ELK 完整部署和使用第6张

下面我们启动一个新的容器,该容器将向控制台打印信息,模拟日志输出。

docker run busybox sh -c 'while true; do echo "This is a log message from container busybox!"; sleep 10; done;'

ELK 完整部署和使用第7张

刷新 Kibana 页面或者点击右上角 ELK 完整部署和使用第8张 图标,马上就能看到 busybox 的日志。


ELK 完整部署和使用第9张

Kibana 也提供了强大的查询功能,比如输入关键字 busybox 能搜索出所有匹配的日志条目。

ELK 完整部署和使用第10张

我们这里只是简单地将日志导入 ELK 并朴素地显示出来,实际上 ELK 还可以对日志进行归类汇总、分析聚合、创建炫酷的 Dashboard 等,可以挖掘的内容很多,玩法很丰富。由于这个教程的重点是容器,这里就不过多展开。下面这张图可以感受一下 ELK 的能力,更多的功能留给大家自己去探索。

ELK 完整部署和使用第11张

ELK 咱们就讨论到这里,下一节学习 Fluentd。

书籍:
1.《每天5分钟玩转Docker容器技术》
https://item.jd.com/16936307278.html

2.《每天5分钟玩转OpenStack》
https://item.jd.com/12086376.html

ELK 完整部署和使用第12张

免责声明:文章转载自《ELK 完整部署和使用》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇云计算之路-阿里云上:数据库连接数过万的真相,从阿里云RDS到微软.NET Core团队Docker添加域名解析下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Docker学习笔记之保存和共享镜像

0x00 概述  让 Docker 引以为傲的是它能够实现相比于其他虚拟化软件更快的环境迁移和部署,在这件事情上,轻量级的容器和镜像结构的设计无疑发挥了巨大的作用。通过将容器打包成镜像,再利用体积远小于其他虚拟化软件的 Docker 镜像,我们可以更快的将它们复制到其他的机器上。在这一节中,我们就专门来谈谈如何进行这样的迁移。 0x01 提交容器更改 之前...

mysql的log_output参数

log_output背景 log_output参数是什么意思?表示慢日志输出到文件还是表中。 show global variables like 'log_output'; 默认参数,log_output='FILE',表示慢日志输出到了文件中。 set global log_output='TABLE'; 此时慢日志就输出到了mysql数据库的系统表...

Docker之Dockfile

什么是DockerFile Dockfile是一种被Docker程序解释的脚本,Dockerfile由一条一条的指令组成,每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令,Docker程序解决这些命令间的依赖关系。Docker程序将读取Dockerf...

LXC-Linux Containers介绍

Linux Containers,Linux的容器,容器嘛,可以想象成一个大的装东西的罐子,罐子口很大,里面可以装很多同样形状,只不过大小不同的小罐子。专业的话,叫做基于容器的操作系统层面的虚拟化技术。 在这个大的容器里面,可以装很多小的容器,每一个容器都具备完整的运行环境,如特定的CPU、memory节点、可分配的cpu时间,IO时间,受限的内存大小(包...

k8s健康检查(七)

默认的健康检查 强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性。自愈的默认实现方式是自动重启发生故障的容器。除此之外,用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查,进而实现如下需求: 零停机部署。 避免部署无效的镜像。 更加安全的滚动升级。 每个容器启动时都会执行一个进程,此进程由 Do...

如何使用 Secret?- 每天5分钟玩转 Docker 容器技术(108)

我们经常要向容器传递敏感信息,最常见的莫过于密码了。比如: docker run -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql 在启动 MySQL 容器时我们通过环境变量 MYSQL_ROOT_PASSWORD 设置了 MySQL 的管理员密码。不过密码是以明文的形式写在 docker run 命令中,有潜在的安...