虚拟化容器,大数据,DBA,中间件,监控。
15 11月
filebeat将收集来的日志存储到自定义名称的es索引(四)

filebeat自定义索引名称环境准备IP服务192.168.81.210es+kibana192.168.81.220es+filebeat+nginx192.168.81.230filebeat+nginx1.配置filebeat使用自定义的索引名称我...

作者:admin|分类:大数据|浏览:712
15 11月
filebeat收集多个域名网站日志并存储到不同的es索引库(五)

filebeat收集多个域名日志并创建不同索引1.为什么要针对不同的应用系统创建不同的索引公司生产环境中一台机器上一定会运行着多个域名的应用,web应用也是集群的方式,如果filebeat收集来的日志都是分散存储,且在es上建立的索引也都是分散的,这样不利...

作者:admin|分类:大数据|浏览:668
15 11月
filebeat同时收集错误日志与普通日志并存(六)

filebeat收集错误日志并与普通日志并存只收集正常日志往往是不完整的,错误日志更需要收集起来1.配置filebeat收集error日志所有集群都按如下配置,其实就是增加了一个type和一个indexvim /etc/filebeat/filebeat....

作者:admin|分类:大数据|浏览:637
15 11月
filebeat收集json格式的tomcat日志(七)

filebeat收集json格式的tomcat日志公司中常用的web程序一般都是nginx和tomcat,tomcat也有access访问日志,输出和nginx类似,我们也将tomcat的日志输出成json格式,在配合filebeat进行收集展示1.部署t...

作者:admin|分类:大数据|浏览:615
15 11月
kibana绘制日志收集系统仪表盘大屏(九)

kibana绘制日志收集系统仪表盘大屏1.kibana图形介绍kibana自带画图功能,可以对一个索引的不同指标进行画图,比如统计访问最多的10个ip、200状态码个数等等都可以通过kibana图形来展现统计的数据日志统计大屏2.制作访问网站前十个IP的图...

作者:admin|分类:大数据|浏览:630
15 11月
filebeat使用modules模板收集nginx日志(十)

filebeat使用modules收集nginx日志1.为什么要使用modules收集日志modules只是filebeat的一个小功能,由于像mysql、redis等这种日志无发输出成json格式,filebeat无法将收集来的普通日志转换为json格式...

作者:admin|分类:大数据|浏览:707
15 11月
filebeat使用module收集mysql慢查询日志(十一)

filebeat使用module收集mysql日志mysql主要收集慢查询日志和error日志1.安装mysql1.安装mysql[root@mysql ~]# yum -y install mariadb-server2.修改配置文件制定数据存放路径[r...

作者:admin|分类:大数据|浏览:608
15 11月
ELK收集多个docker容器日志(十二)

filebeat收集容器日志现在很多公司都是用docker容器来运行服务,一台机器上会有很多个docker,docker容器里面的日志也需要收集分析,filebeat也有docker容器的日志收集方案官方配置地址https://www.elastic.co...

作者:admin|分类:大数据|浏览:721
15 11月
配置logstash从redis读取filebeat收集的日志(上)

logstash读取redis缓存日志1.logstash从redis读取收集日志原理常规的日志收集方式都是由filebeat收集完直接输出给es集群,如果当后端应用访问量大,产生的日志也特别巨大,这时再由filebeat收集日志直接传输给es,会给es带...

作者:admin|分类:大数据|浏览:595
15 11月
优化logstash从redis中读取日志的配置(下)

优化logstash读取redis缓存日志配置紧接着配置logstash从redis读取filebeat收集的日志(上)进一步优化1.优化配置思路之前的logstash读取redis收集来的日志数据配置需要很多步骤,每次新加一个日志都特别繁琐没有优化前新增...

作者:admin|分类:大数据|浏览:672