一佳互联

展开菜单

ELK logstash根据不同日志来源创建索引

ELK logstash根据不同日志来源创建索引
条件判断 操作符:  比较操作符:== ,!= , < , > , <= ,>=  正则匹配操作符:=~(匹配正则) ,!~(不匹配正则)  成员操作符:in(包含) , not in(不包含)  逻辑操作符:and(与),or(或), nand(非与) , xor(非或)  一元运算符:!(取反) ,()(复合表达式) ,...

ELK Filebeat采集日志推送到Logstash

ELK Filebeat采集日志推送到Logstash
Filebeat介绍 Filebeat是一个轻量级的日志采集器,将采集的数据推送到Logstash、ES存储。 logstash是可以日志采集,但是资源消耗比较大,其主要功能是日志的过滤以及格式化的输出,也就是独立作为日志格式化输出的。使用filebeat是代替其采集功能,消耗的资源小,哪台机器需要日志采集就部署filebeat。 filebeat.config.modules: filebeat里面内置了一些模块,这些模块可以对特定的...

ELK 过滤插件grok对nginx日志格式化

ELK 过滤插件grok对nginx日志格式化
默认nginx的访问日志是没有格式的,日志格式如下  log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';...

ELK logstash json对你的nginx进行解码

ELK logstash json对你的nginx进行解码
收集Nginx访问日志 将Nginx访问日志格式改为JSON log_format json '{ "@timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", ' '"body_bytes_sent": "$body_bytes_sent", ' '"request_time": "$request_...

ELK 配置你的logstash

ELK 配置你的logstash
Structure of a Config File A Logstash config file has a separate section for each type of plugin you want to add to the event processing pipeline. For example: # This is a comment. You should use comments to describe # parts of your con...

ELK 吃透Elasticsearch 堆内存

ELK 吃透Elasticsearch 堆内存
1、什么是堆内存? Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区域: 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、 To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象,包括内存的分配以及回收。  ...

ELK logstash配置示例

ELK logstash配置示例
Logstash Configuration Examples The following examples illustrate how you can configure Logstash to filter events, process Apache logs and syslog messages, and use conditionals to control what events are processed by a filter or output....

ELK Logstash性能故障排除

ELK Logstash性能故障排除
Performance Troubleshooting You can use these troubleshooting tips to quickly diagnose and resolve Logstash performance problems. Advanced knowledge of pipeline internals is not required to understand this guide. However, the pipeline...

ELK filebeat收集java堆日志

ELK filebeat收集java堆日志
收集Java堆栈日志 一般来说日志的每一行就代表一个完整的请求nginx,但是有些日志是多行的java堆栈日志。多行日志代表了一个事务,如果让elk来处理会认为有四个文档 一般应用记录的日志,每行表示一个事务,但有些日志是多行表示一个事务。 例如,常见的Java堆栈日志: Exception in thread "main" java.lang.NullPointerException at com.example.myproject.Book.g...

docker安装jenkins使用npm容器构建Node.js+实现cicd部署

docker安装jenkins使用npm容器构建Node.js+实现cicd部署
docker安装jenkins使用npm容器构建Node.js+实现cicd部署目标: docker中运行jenkins,通过npm容器构建项目,项目资源打包部署到远程主机的目录中。一、jenkins 的安装1,配置要求docker主机IP: 192.168.1.20,系统:centos7 ,需要安装docker,再创建一个jenkins容器,挂载目录: /opt/jenkins 。部署nginx服务器IP: 192..168.1.41,系统:centos7 ,保存jenki...