filebeat收集错误日志并与普通日志并存
只收集正常日志往往是不完整的，错误日志更需要收集起来
1.配置filebeat收集error日志
所有集群都按如下配置，其实就是增加了一个type和一个index
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/...
filebeat收集json格式的tomcat日志
公司中常用的web程序一般都是nginx和tomcat，tomcat也有access访问日志，输出和nginx类似，我们也将tomcat的日志输出成json格式，在配合filebeat进行收集展示
1.部署tomcat
1.1.部署tomcat
1.安装java
[root@nginx02 ~]# yum -y install java
2.安装tomc...
kibana绘制日志收集系统仪表盘大屏
1.kibana图形介绍
kibana自带画图功能，可以对一个索引的不同指标进行画图，比如统计访问最多的10个ip、200状态码个数等等都可以通过kibana图形来展现统计的数据
日志统计大屏
2.制作访问网站前十个IP的图形
2.1.产生nginx访问日志
拿不同的ip去访问，一会可以统计出访问最高的10个IP，我已经产生了20000多条...
filebeat使用modules收集nginx日志
1.为什么要使用modules收集日志
modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计
logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错
介于种种不便，elk官方推出了filebea...
filebeat使用module收集mysql日志
mysql主要收集慢查询日志和error日志
1.安装mysql
1.安装mysql
[root@mysql ~]# yum -y install mariadb-server
2.修改配置文件制定数据存放路径
[root@mysql ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/var/li...
filebeat收集容器日志
现在很多公司都是用docker容器来运行服务，一台机器上会有很多个docker，docker容器里面的日志也需要收集分析，filebeat也有docker容器的日志收集方案
官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html
1.部署docker
1.安装dock...
logstash读取redis缓存日志
1.logstash从redis读取收集日志原理
常规的日志收集方式都是由filebeat收集完直接输出给es集群，如果当后端应用访问量大，产生的日志也特别巨大，这时再由filebeat收集日志直接传输给es，会给es带来特别大的压力，如果es这时挂掉，filebeat依然在收集日志，这时filebeat找不到es集群，则会把收集来的日志丢弃
针对日志量大的问题可以在es集...
优化logstash读取redis缓存日志配置
紧接着配置logstash从redis读取filebeat收集的日志（上） 进一步优化
1.优化配置思路
之前的logstash读取redis收集来的日志数据配置需要很多步骤，每次新加一个日志都特别繁琐
没有优化前新增一个日志收集的配置步骤：
1.配置filebeat收集什么日志，增加标签
2.配置filebeat将日志存储到哪里
...
ELK终极架构
ELK终极架构
ELK终极架构
1.ELK终极架构图
2.部署终极ELK架构
2.2.部署两台redis
2.3.配置nginx四层负载均衡
2.4.配置keepalived高可用
2.5.挂掉redis01查看是否会切换到redis0...
prometheus使用cadvisor监控docker容器
1.cadvisor概述
一般公司会有很多docker主机，那么就需要对docker进行监控了，docker监控可以采用docker stats配合shell命令来取值做监控，但是无法传递给prometheus进行采集，zabbix监控docker又比较麻烦，因此就有了谷歌的cadvisor
cadvisor不仅可以搜集一台机器上的所有运行的容器信息，...