为了进行数字化IT治理，需要对一些应用进程相关指标进行采集并入库。收集到的应用指标数据最好要进行ES入仓，入到Kafka里面，并通过Kibana可视化展示。
下面是应用指标数据进行ES入仓的请求说明
测试区接口说明：
访问链接：http://192.168.10.10:10222/haha/heiheiAPI/test_1_kafka
请求header：Content-Type:application/json
请求方法：POST
请求参数，toke...
在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~
================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施...
一、使用NFS配置持久化存储 1）在NFS服务器端（172.16.60.238）通过nfs创建es、filebeat共享目录
[root@k8s-harbor01 k8s]# mkdir -p /data/storage/k8s/es
2）创建NFS的rbac
[root@k8s-master01 k8s_project]# cd
[root@k8s-master01 ~]# cd /opt/k8s/k8...
出现前言
这里记录着本人采用云服务器搭建zookeeper集群的一些步骤及问题。
提示：以下是本篇文章正文内容，下面案例可供参考
一、搭建docker环境
1.通过云服务自带的镜像直接使用。
2.使用官方安装脚本自动安装。
示例：
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
二、搭建zookeeper组件
1.docker安装zookeeper
通过 d...
认识elasticsearch
最近在做一个关于spark整合Elasticsearch的项目，闲暇时便在自己机器上安装了一下elasticsearch集群。关于elasticserarch，这里简单做一下介绍：它 是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它的底层是基于Lucene实现的一个搜索引擎，关于Lucene知识，我在四年前写过几篇文章，大家可以看一下。 Luncen介绍 Luncen分词器的使用
安装
环境： JDK1.7.5...
要求
对 CSE512: Data Visualization 完成探索性数据分析。
内容
数据选择
数据来源：1960-2017年世界银行的数据。世界银行通过气候变化、经济、教育、环...
课题背景
经过一学期的大数据导论学习后，我们突然接到了结业大作业——进行一次大数据分析项目的通知。
刚刚学习了一些大纲类型的知识的我们自然是不知所措的，经过资料查阅后我们决定通过虚拟机搭建Hadoop集群进行伪分布式计算完成该项目。
然后就开始了安装了20次虚拟机的折磨之路本来打算录视频全程教程的，奈何时间紧迫，只能写一个博客帮助学弟学妹少走弯路
文中环境：
Hadoop-v3.3.1
JDK-8u202-linux-x64（1.8.202）
Ce...
部署kibana分析系统并连接es展现索引数据
1.kibana分析系统简介
Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。 Elasticsearch、Logsta...
使用filebeat简单收集日志
1.filebeat原理与介绍
filebeat收集日志的原理类似于tail -f命令，等待应用日志产生后，每隔30s将日志进行收集，收集完成后存放在es的索引库中，最后展示在kibana上
当filebeat关闭后，nginx继续产生日志，filebeat再次开启时不会将原来没有收集到的日志重新收集，而是收集目前最新的日志，当日志索引库被删除后，filebeat重启之后，es上...
elasticsearch防脑裂配置
脑裂产生的原因及现象：
当公司有多个idc机房，并且有多个es集群节点，这些节点都分布在不同的机房，机房之间通过openvpn进行连接，机房1上有2个es节点，并且有1个是主节点，机房2上有2个es节点都是工作节点，当机房产生网络波动后，两个机房之间的es节点不能通信，这时机房1上的两个es节点因为有主节点的存在，依然是正常工作的，但是机房2上的es由于连接不上主节点，就认为主节点...