一佳互联

展开菜单

ELK之三-----JAVA日志多行合并、tomcat json日志收集与处理

ELK之三-----JAVA日志多行合并、tomcat json日志收集与处理
实战一:通过Logstash收集tomcat服务器的日志 1、配置JDK环境 1、解压JDK包,创建软链接 [root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz [root@tomcat-web1 src]# ln -sv /usr/local/src/jdk1.8.0_212/ /usr/local/jdk ‘/usr/local/jdk/jdk1.8.0_212’ -> ‘/usr/local...

ELK之四-----logstash收集nginx日志及tcp日志

ELK之四-----logstash收集nginx日志及tcp日志
实验一:实现Logstash收集nginx访问日志(Json格式) 1、安装并配置nginx服务 1、安装nginx,生产中最好是源码编译nginx服务。 [root@logstash conf.d]# yum install nginx -y 2、将nginx的日志格式改为Json格式:/etc/nginx/.nginx.conf配置文件进行修改。 http { log_format access_json '{"@timestamp":"$tim...

ELK之五----logstash收集haproxy日志

ELK之五----logstash收集haproxy日志
实验一:logstash收集haproxy日志 架构图  实现原理:haproxy服务器监听kibana服务器的地址和端口号,rsyslog定义haproxy的日志级别,并监听logstash服务器地址,以TCP模式的网络协议监听端口:1514,logstash服务器也监听1514网络端口,实现rsyslog和logstash服务器的端口一致,最终haproxy日志文件传到logstash主机,logstash主机将haproxy日志再传到elasticse...

ELK之七------Zookeeper和Kafka安装与配置

ELK之七------Zookeeper和Kafka安装与配置
一、zookeeper介绍: ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性:整个集群种只要有超过集群数量一半的zookeeper工作只正常的,那么整个集群对外就是可用的,假如有2台服务器做了一个zookeeper集群,只要有任何一台故障或宕机,那么这个zookeeper集群就不可用了,因为剩下的一台没有超过集群一半的数量,但是假如有三台zookeeper组成一个集群,那么损坏一台就还剩两台,大于3台的一半,所以损坏一台还是可以...

ELK之八----Logstash结合kafka收集系统日志和nginx日志

ELK之八----Logstash结合kafka收集系统日志和nginx日志
一、logstash结合kafka收集系统日志和nginx日志 架构图: 环境准备: A主机:kibana、elasticsearch,有条件可以将两个服务器分开:192.168.7.100 B主机:logstash主机:192.168.7.101/nginx服务器也在此主机上 C主机:logstash主机:192.168.7.102 D主机:kafka/zookeeper:192.168.7.104 E主机:kafka/zookeeper:192.168....

ELK之九----logstash结合filebeat经过kafka收集系统及nginx日志

ELK之九----logstash结合filebeat经过kafka收集系统及nginx日志
一、Beats 轻量型数据采集器 Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。 二、实现logstash结合filebeat采集kafka系统日志 架构图: 环境准备: A主机:elasticsearch主机,IP地址:192.168.7.100 B主机:logstash主机:IP地址:192.168.7.102 C主机:file...

ELK之十一----通过nginx代理kibana并实现登陆认证

ELK之十一----通过nginx代理kibana并实现登陆认证
一、通过nginx代理kibana并实现登陆认证 1、安装nginx 1、编译安装nginx服务 [root@elk-1 nginx-1.14.2]# tar xvf nginx-1.14.2.tar.gz [root@elk-1 nginx-1.14.2]# cd nginx-1.14.2/ [root@elk-1 nginx-1.14.2]# ./configure --prefix=/apps/nginx [root@elk-1 nginx-1.14.2]#...

ELK之十二----Nginx日志写入到数据库中及显示IP地址城市

ELK之十二----Nginx日志写入到数据库中及显示IP地址城市
一、logstash结合filebeat收集日志写入到数据库中 框架图 原理:由于部分重要日志需要按照开发的要求将日志存储到数据库中,也是个比较重点以及难点的问题,此实验是在ELK之十的基础上进行搭建的,需要将ELK之十搭建完成才能搭建此环境:ELK之十链接:https://www.cnblogs.com/struggle-1216/p/12502928.html 1、安装mariadb-server数据库 1、安装数据库并启动 # yum install m...