一佳互联

作者：Escape 转载：https://www.escapelife.site/posts/38c81b25.html 当我们公司内部部署很多服务以及测试、正式环境的时候，查看日志就变成了一个非常刚需的需求了。是多个环境的日志统一收集，然后使用 Nginx 对外提供服务，还是使用专用的日志收集服务 ELK 呢？这就变成了一个问题！而 Graylog 作为整合方案，使用 elasticsearch&...

    日志管理系统，大家普遍知道的都是ELK的解决方案，但是ELK要实现认证和一些状态监控，需要安装x-pack插件包，但是x-pack是要收费的，当然可以选择破解，但是比较麻烦。而且ELK是一个解决方案，在其中包含很多软件，不单elasticsearch,kibana,logstash,还需要redis或kafaka，收集日志还需要不同的beats，整个结构非常复杂，且占用较多资源，要想完全搞懂需要较长时间。     但是很多时候...

Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案。一、安装docker安装docker的教程网上一搜一大把,请参考：centos下docker安装教程二、docker安装MySQL安装教程网上也有很多，请参考:docker安装MySQL...

原文：5 Logstash Filter Plugins You Need to Know About译者：neal1991welcome to star my articles-translator , providing you advanced articles translation. Any suggestion, please issue or contact meLICENSE: MITIn ELK, Logst...

A Beginner’s Guide to Logstash Grok(https://logz.io/blog/logstash-grok/) The ability to efficiently analyze and query the data being shipped into the ELK Stack depends on the information being readable. This means that as uns...

Logstash 介绍 Logstash能够将采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储。 Input：输入，输入数据可以是Stdin、File、TCP、Redis、Syslog等。 Filter：过滤，将日志格式化。有丰富的过滤插件：Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等。 Output：输出，输出目标可以是Stdout、File、TCP、Redis、ES等...

Description This is a JSON parsing filter. It takes an existing field which contains JSON and expands it into an actual data structure within the Logstash event. 这是一个JSON解析过滤器。它采用一个包含JSON的现有字段，并将其扩 展为Logstash事件内的实际数据结构。 By default, i...

Structure of a Config File A Logstash config file has a separate section for each type of plugin you want to add to the event processing pipeline. For example: # This is a comment. You should use comments to describe # parts of your con...

过滤插件：通用配置字段 add_field 如果过滤成功，添加一个字段到这个事件 add_tags 如果过滤成功，添加任意数量的标签到这个事件 remove_field 如果过滤成功，从这个事件移除任意字段 remove_tag 如果过滤成功，从这个事件移除任意标签   Description This filter helps automatically parse messages (or specific...

过滤插件：Grok 如果业务项目都能够按照json格式输出的话那么处理起来会很容易，那么使用之前的json插件就可以快速解析为结构化的数据。但是有些日志的格式就不符合json格式也不能自定义，那么kv json插件就用不到的。 Grok插件可以支持正则，能够从非结构化的日志当中提取出关键字段，负责将非结构化数据解析为结构化的数据，logstash默认支持了很多正则 Grok插件：如果采集的日志格式是非结构化的，可以写正则表 达式提取，grok是正则表达式支持的...