一佳互联

A Beginner’s Guide to Logstash Grok(https://logz.io/blog/logstash-grok/) The ability to efficiently analyze and query the data being shipped into the ELK Stack depends on the information being readable. This means that as uns...

Logstash 介绍 Logstash能够将采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储。 Input：输入，输入数据可以是Stdin、File、TCP、Redis、Syslog等。 Filter：过滤，将日志格式化。有丰富的过滤插件：Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等。 Output：输出，输出目标可以是Stdout、File、TCP、Redis、ES等...

Description This is a JSON parsing filter. It takes an existing field which contains JSON and expands it into an actual data structure within the Logstash event. 这是一个JSON解析过滤器。它采用一个包含JSON的现有字段，并将其扩 展为Logstash事件内的实际数据结构。 By default, i...

Structure of a Config File A Logstash config file has a separate section for each type of plugin you want to add to the event processing pipeline. For example: # This is a comment. You should use comments to describe # parts of your con...

过滤插件：通用配置字段 add_field 如果过滤成功，添加一个字段到这个事件 add_tags 如果过滤成功，添加任意数量的标签到这个事件 remove_field 如果过滤成功，从这个事件移除任意字段 remove_tag 如果过滤成功，从这个事件移除任意标签   Description This filter helps automatically parse messages (or specific...

过滤插件：Grok 如果业务项目都能够按照json格式输出的话那么处理起来会很容易，那么使用之前的json插件就可以快速解析为结构化的数据。但是有些日志的格式就不符合json格式也不能自定义，那么kv json插件就用不到的。 Grok插件可以支持正则，能够从非结构化的日志当中提取出关键字段，负责将非结构化数据解析为结构化的数据，logstash默认支持了很多正则 Grok插件：如果采集的日志格式是非结构化的，可以写正则表 达式提取，grok是正则表达式支持的...

如果过滤插件里面自带的正则匹配无法满足你的需求，那么你可以写自己的正则匹配规则，如何使用，CID [0-9]{5,6}这个是自定义规则 [root@localhost ~]# cat /usr/local/logstash/conf.d/test.conf input { file { path => "/var/log/test.log" } } filter { grok { patterns_dir => "/opt/pat...

 需求背景  日志系统 如果机器少的话，可以去机器上面查看，日志可以一个一个去查看  业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多 开发人员排查问题，需要到服务器上查日志，效率低、权限不好控制 运维需实时关注业务访问情况     容器特性给日志采集带来的难度 容器特性给日志采集带来的难度：...

输出插件（Output） 输出阶段：将处理完成的日志推送到远程数据库存储 常用插件： • file • Elasticsearch     Elasticsearch If you plan to use the Kibana web interface to analyze data transformed...

过滤插件：GeoIP Description The GeoIP filter adds information about the geographical location of IP addresses, based on data from the Maxmind GeoLite2 databases.  GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址地理位置的信息。 过滤插件：GeoIP（能够将日...