实验一：实现Logstash收集nginx访问日志（Json格式）
1、安装并配置nginx服务
1、安装nginx，生产中最好是源码编译nginx服务。
[root@logstash conf.d]# yum install nginx -y
2、将nginx的日志格式改为Json格式：/etc/nginx/.nginx.conf配置文件进行修改。
http {
log_format access_json '{"@timestamp":"$tim...
实验一：logstash收集haproxy日志
架构图
实现原理：haproxy服务器监听kibana服务器的地址和端口号，rsyslog定义haproxy的日志级别，并监听logstash服务器地址，以TCP模式的网络协议监听端口：1514，logstash服务器也监听1514网络端口，实现rsyslog和logstash服务器的端口一致，最终haproxy日志文件传到logstash主机，logstash主机将haproxy日志再传到elasticse...
一、logstash结合redis收集系统日志
架构图：
环境准备：
A主机：elasticsearch主机 IP地址：192.168.7.100
B主机：logstash主机 IP地址：192.168.7.102
C主机：redis主机 ...
一、zookeeper介绍：
ZooKeeper是一个分布式且开源的分布式应用程序协调服务。
zookeeper集群特性：整个集群种只要有超过集群数量一半的zookeeper工作只正常的，那么整个集群对外就是可用的，假如有2台服务器做了一个zookeeper集群，只要有任何一台故障或宕机，那么这个zookeeper集群就不可用了，因为剩下的一台没有超过集群一半的数量，但是假如有三台zookeeper组成一个集群，那么损坏一台就还剩两台，大于3台的一半，所以损坏一台还是可以...
一、logstash结合kafka收集系统日志和nginx日志
架构图：
环境准备：
A主机：kibana、elasticsearch，有条件可以将两个服务器分开：192.168.7.100
B主机：logstash主机:192.168.7.101/nginx服务器也在此主机上
C主机：logstash主机：192.168.7.102
D主机：kafka/zookeeper：192.168.7.104
E主机：kafka/zookeeper：192.168....
一、Beats 轻量型数据采集器
Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
二、实现logstash结合filebeat采集kafka系统日志
架构图：
环境准备：
A主机：elasticsearch主机，IP地址：192.168.7.100
B主机：logstash主机：IP地址：192.168.7.102
C主机：file...
实战一：filebeat收集日志到redis再由logstash转存到elasticsearch主机
框架图：
环境准备：
A主机：elasticsearch/kibana IP地址：192.168.7.100
B主机：logstash IP地址：192.168.7.102
C主机：fil...
一、通过nginx代理kibana并实现登陆认证
1、安装nginx
1、编译安装nginx服务
[root@elk-1 nginx-1.14.2]# tar xvf nginx-1.14.2.tar.gz
[root@elk-1 nginx-1.14.2]# cd nginx-1.14.2/
[root@elk-1 nginx-1.14.2]# ./configure --prefix=/apps/nginx
[root@elk-1 nginx-1.14.2]#...
一、logstash结合filebeat收集日志写入到数据库中
框架图
原理：由于部分重要日志需要按照开发的要求将日志存储到数据库中，也是个比较重点以及难点的问题，此实验是在ELK之十的基础上进行搭建的，需要将ELK之十搭建完成才能搭建此环境：ELK之十链接：https://www.cnblogs.com/struggle-1216/p/12502928.html
1、安装mariadb-server数据库
1、安装数据库并启动
# yum install m...
一、在kibana创建图形
1、在可视化创建垂直条形图
1、点击可视化后，点右边的加号，选择自己要创建的图形类型
2、选择自己创建的Nginx索引
3、创建统计客户端的IP地址信息，并保存，且创建的信息是实时更新的
2、在可视化创建折线图
1、在可视化创建折线图
2、开始创建nginx收集的日志
3、创建水平条形图
1、在可视化内创建水平条形图
2、选在ngin...