一佳互联

如果过滤插件里面自带的正则匹配无法满足你的需求，那么你可以写自己的正则匹配规则，如何使用，CID [0-9]{5,6}这个是自定义规则 [root@localhost ~]# cat /usr/local/logstash/conf.d/test.conf input { file { path => "/var/log/test.log" } } filter { grok { patterns_dir => "/opt/pat...

 需求背景  日志系统 如果机器少的话，可以去机器上面查看，日志可以一个一个去查看  业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多 开发人员排查问题，需要到服务器上查日志，效率低、权限不好控制 运维需实时关注业务访问情况     容器特性给日志采集带来的难度 容器特性给日志采集带来的难度：...

输出插件（Output） 输出阶段：将处理完成的日志推送到远程数据库存储 常用插件： • file • Elasticsearch     Elasticsearch If you plan to use the Kibana web interface to analyze data transformed...

过滤插件：GeoIP Description The GeoIP filter adds information about the geographical location of IP addresses, based on data from the Maxmind GeoLite2 databases.  GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址地理位置的信息。 过滤插件：GeoIP（能够将日...

条件判断 操作符：  比较操作符：== ，!= ， < ， > ， <= ，>=  正则匹配操作符：=~(匹配正则) ，!~(不匹配正则)  成员操作符：in(包含) ， not in(不包含)  逻辑操作符：and(与)，or(或), nand(非与) ， xor(非或)  一元运算符：!(取反) ，()(复合表达式) ，...

Filebeat介绍 Filebeat是一个轻量级的日志采集器，将采集的数据推送到Logstash、ES存储。 logstash是可以日志采集，但是资源消耗比较大，其主要功能是日志的过滤以及格式化的输出，也就是独立作为日志格式化输出的。使用filebeat是代替其采集功能，消耗的资源小，哪台机器需要日志采集就部署filebeat。 filebeat.config.modules: filebeat里面内置了一些模块，这些模块可以对特定的...

默认nginx的访问日志是没有格式的，日志格式如下  log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';...

收集Nginx访问日志 将Nginx访问日志格式改为JSON log_format json '{ "@timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", ' '"body_bytes_sent": "$body_bytes_sent", ' '"request_time": "$request_...

Structure of a Config File A Logstash config file has a separate section for each type of plugin you want to add to the event processing pipeline. For example: # This is a comment. You should use comments to describe # parts of your con...

1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域： 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、 To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，包括内存的分配以及回收。  ...