概念介绍:

ELK 是一种强大且开源的日志分析系统, 常用来收集、过滤、分析各种服务和应用 的日志信息, 并且可以将结果进行搜索、综合统计、数据分析等, 最后将结果输出为可视化图形来进行展示, 基本可以满足很多场景下的日志信息处理需求了.

elk 家族中主要有4个组件: elasticsearch、logstash、kibana、beats

beats 用于数据采集, 根据采集对象的不同, 细分出了8个子模块, 最常用的是filebeat, 即文件与目录的采集,常用来采集各种业务的日志信息

logstash 主要用于数据筛选, Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便进行后续分析。

elasticsearch 简而言之就是一款分布式、高扩展、高实时的搜索与数据分析引擎

kibana 主要用于数据成果的图形化展示, 自带很多标准模板以供使用, 例如nginx模块等.基本满足使用需求, 但是有些细节之处仍然需要修改

大致处理流程:

beats采集到数据, 将其传递给 logstash过滤出需要的信息, 再将其传递给elasticsearch进行存储检索等流程,并将结果传递给kibana进行图形化展示

其中beats与logstash之间、logstash与elasticsearch之间都可能会存在性能瓶颈, 适当增加消息中间件(kafka或redis)有利于整体稳定

elasticsearch作为elk的核心, 可以分布式部署多个节点, 组成集群

常见架构图:

具体搭建过程及配置文档等, 可以搜索我的其他博客, 或者参考elk官方文档