摘要：
Grok是一种工具，可用于解析非结构化日志文件，使其结构化，并方便查询。原木仓库严重依赖原木。同时，该社区还提供了一个prometheus导出器，它可以轻松地执行日志指标，并将其暴露在prometheus的标准数据格式中。当然，谷歌的mtail也是一个不错的选择，具有良好的性能和方便的扩展，Grok对于熟悉logstash的学生来说是一个很好的选择。
grok 是一个工具，可以用来解析非结构化的日志文件，可以使其结构化，同时方便查询，grok 被logstash 大量依赖
同时社区也提供了一个prometheus 的exporter 可以方便的进行log 指标，暴露为promethesu 的标准数据格式，当
然谷歌的mtail 也是一个不错的选择，同时性能很不错，扩展也很方便（提供了自己的处理语言），对于比较熟悉
logstash 的同学grok 是一个很不错的选择。
以下演示一个简单的基于grok exporter的log 统计分析功能
环境准备
- docker-compose 文件
version: "3.7"services: grafana: image: grafana/grafana ports: - "3000:3000" prometheus: image: prom/prometheus volumes: - "./prometheus.yml:/etc/prometheus/prometheus.yml" ports: - "9090:9090" grok: image: dalongrong/grok-exporter volumes: - "./example:/opt/example" - "./grok.yaml:/grok/config.yml" ports: - "9144:9144"- grok 配置文件说明
global: config_version: 2input: type: file path: /opt/example/examples.log readall: truegrok: patterns_dir: ./patternsmetrics: - type: counter name: grok_example_lines_total help: Counter metric example with labels. match: '%{DATE} %{TIME} %{USER:user} %{NUMBER}' labels: user: '{{.user}}'server: port: 9144- promethesu 静态配置文件
scrape_configs: - job_name: grok metrics_path: /metrics scrape_interval: 10s scrape_timeout: 10s static_configs: - targets: ['grok:9144']- log 日志文件格式
30.07.2016 14:37:03 alice 1.530.07.2016 14:37:33 alice 2.530.07.2016 14:43:02 bob 2.530.07.2016 14:45:59 alice 2.530.07.2016 14:46:59 dalong 2.530.07.2016 14:47:59 dalong 2.530.07.2016 14:48:59 dalong 2.5启动&&测试
- 启动
docker-compose up -d- 配置grafana
打开http://localhost:3000 按照提示操作即可 - prometheus metrics 查看
- prometheus web console
- grafana 图表
说明
当前支持的metrics 有计数，仪表板，直方图，摘要，是一个不错的工具，作者当前也在开发支持多日志文件的处理
参考资料
https://github.com/fstab/grok_exporter
https://github.com/google/mtail
https://github.com/rongfengliang/grok-exporter-docker-compose