Logstash Configuration Examples
The following examples illustrate how you can configure Logstash to filter events, process Apache logs and syslog messages, and use conditionals to control what events are processed by a filter or output....
Performance Troubleshooting
You can use these troubleshooting tips to quickly diagnose and resolve Logstash performance problems. Advanced knowledge of pipeline internals is not required to understand this guide. However, the pipeline...
收集Java堆栈日志
一般来说日志的每一行就代表一个完整的请求nginx，但是有些日志是多行的java堆栈日志。多行日志代表了一个事务，如果让elk来处理会认为有四个文档
一般应用记录的日志，每行表示一个事务，但有些日志是多行表示一个事务。
例如，常见的Java堆栈日志：
Exception in thread "main" java.lang.NullPointerException
at com.example.myproject.Book.g...
目录
一：安装准备
二：单机安装
三：集群安装（全分布）
一：安装准备
1.必须安装了zookeeper
zookeeper安装操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客
2.下载kafka
可以通过这两个网站下载想要的版本
http://kafka.apache.org/downloads
https://mirrors.tuna.tsinghua.edu.c...
目录
前文
Hadoop3.3.1 HA 高可用集群的搭建
QJM 的 NameNode HA
Hadoop HA模式搭建（高可用）
1、集群规划
2、Zookeeper集群搭建：
3、修改Hadoop集群配置文件
修改 vim core-site.xml
修改 hadoop-env.sh
修改 hdfs-site.xml
workers...
Linux系统（Centos7）实现hadoop安装 工具：Linux系统 ：Centos7 JDK:JDK1.8 Hadoop:Hadoop-3.3.1 虚拟机：VMware Workstation Pro 16 本机系统：Windows10 一、虚拟机设置1.设置虚拟机的网络连接方式2.设置虚拟机网络配置说明：修改子网IP设置，可自由设置固定IP； 若设置固定IP为192.168.2.2-255，例如：192.168.2.2，则子网IP为192.168.2.0； 若设置固...
kafka 基础知识梳理及集群环境部署记录
一、kafka基础介绍
0. kakfa概述
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）开源消息系统，由Scala写成，是由Apache软件基金会开发的一个开源消息系统项目，该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。kafka基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足...
Ceph-deploy快速部署Ceph分布式存储
之前已详细介绍了Ceph分布式存储基础知识，下面简单记录下Centos7使用Ceph-deploy快速部署Ceph环境：1）基本环境
192.168.10.220 ceph-admin（ceph-deploy） mds1、mon1（也可以将monit节点另放一台机器）
192.168.10.239 ceph-node1 osd1
192.16...
之前在IDC机房环境部署了一套ELK日志集中分析系统, 这里简单总结下ELK中Elasticsearch健康状态相关问题, Elasticsearch的索引状态和集群状态传达着不同的意思。
一. Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引。或者它 可能有一百个数据节点、三个单独的主节点，以及一小打客户端节点——这些共同操作一千个索引（以及上万个分片）。但是不管集群扩展到多大规...
一、ElasticSearch使用场景存储ElasticSearch天然支持分布式，具备存储海量数据的能力，其搜索和数据分析的功能都建立在ElasticSearch存储的海量的数据之上；ElasticSearch很方便的作为海量数据的存储工具，特别是在数据量急剧增长的当下，ElasticSearch结合爬虫等数据收集工具可以发挥很大用处
搜索ElasticSearch使用倒排索引，每个字段都被索引且可用于搜索，更是提供了丰富的搜索api，在海量数据下近实时实...
