filebeat收集json格式的nginx日志
1.为什么要收集json格式的日志类型
由于nginx普通日志收集过来的日志内容都是存在一个字段中的值，我们想单独对日志中的某一项进行查询统计，比如我只想查看某个IP请求了我那些页面，一共访问了多少次，在普通的日志中是无法过滤的，不是很满意
如下图，可以明显的看出，收集过来的日志信息都是在一块的，不能够根据某一项内容进行查询
因此就需要让filebe...
filebeat将收集的日志存储在指定es索引库并在kibana上展示日志数据
1.为什么要指定索引库名称
由于一台机器上不止一个应用服务，比如web机器，上面一定会有tomcat、nginx、redis这种服务，如果我们不指定每个应用收集来的日志存放在es集群中的索引名的话，filebeat会将所有的日志存放在一个叫filebeat-xxx的索引库中，这样一来，我们想针对性的看某一个应用的日志将会非常困难
因此...
filebeat自定义索引名称
环境准备
IP
服务
192.168.81.210
es+kibana
192.168.81.220
es+filebeat+nginx
192.168.81.230
filebeat+nginx...
filebeat收集多个域名日志并创建不同索引
1.为什么要针对不同的应用系统创建不同的索引
公司生产环境中一台机器上一定会运行着多个域名的应用，web应用也是集群的方式，如果filebeat收集来的日志都是分散存储，且在es上建立的索引也都是分散的，这样不利于日志的聚合汇总，因此就需要把同一种应用的不同机器上的日志全部采集过来存储到一个索引库中，在kibana根据各种条件去匹配
2.搭建web集群环境
2...
filebeat收集错误日志并与普通日志并存
只收集正常日志往往是不完整的，错误日志更需要收集起来
1.配置filebeat收集error日志
所有集群都按如下配置，其实就是增加了一个type和一个index
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/...
filebeat收集json格式的tomcat日志
公司中常用的web程序一般都是nginx和tomcat，tomcat也有access访问日志，输出和nginx类似，我们也将tomcat的日志输出成json格式，在配合filebeat进行收集展示
1.部署tomcat
1.1.部署tomcat
1.安装java
[root@nginx02 ~]# yum -y install java
2.安装tomc...
kibana绘制日志收集系统仪表盘大屏
1.kibana图形介绍
kibana自带画图功能，可以对一个索引的不同指标进行画图，比如统计访问最多的10个ip、200状态码个数等等都可以通过kibana图形来展现统计的数据
日志统计大屏
2.制作访问网站前十个IP的图形
2.1.产生nginx访问日志
拿不同的ip去访问，一会可以统计出访问最高的10个IP，我已经产生了20000多条...
filebeat使用modules收集nginx日志
1.为什么要使用modules收集日志
modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计
logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错
介于种种不便，elk官方推出了filebea...
filebeat使用module收集mysql日志
mysql主要收集慢查询日志和error日志
1.安装mysql
1.安装mysql
[root@mysql ~]# yum -y install mariadb-server
2.修改配置文件制定数据存放路径
[root@mysql ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/var/li...
filebeat收集容器日志
现在很多公司都是用docker容器来运行服务，一台机器上会有很多个docker，docker容器里面的日志也需要收集分析，filebeat也有docker容器的日志收集方案
官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html
1.部署docker
1.安装dock...