Openeuler2203系统zookeeper+kafka集群部署一，具体环境 1，云主机前三台用来安装zookeeper-3.9.1与kafka_2.13-3.6.1,Java 采用JAVA-11-openjdk版本192.168.0.11 ecs-0001 192.168.0.12 ecs-0002 192.168.0.13 ecs-0003 192.168.0.14 ecs-0004注意: kafka新版本可以使用kraft配置文件，不再需要zookeeper。2，目...
kafka3.X集群安装(不使用zookeeper)一、kafka集群实例角色规划 上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是broker角色，kafka从三个broker中选举出来一个Controller控制器，控制器将集群元数据信息（比如主题分类、消费进度等）保存到zookeeper，用于集群各节点之间分布式交互。右图（kafka3.0）：假设一个集群有四个bro...
给ES和kibana设置用户登陆，或者使用nginx限制IP或用户访问。本文介绍ELK自带的创建用户的方式。 首先贴了张网上的图可以看到ELK架构使用图。
1 修改ES配置开启X-PACK
修改配置文件elasticsearch.yml内容如下：
ELK菜鸟手记 (三) - X-Pack权限控制之给Kibana加上登录控制以及index_not_found_exception问题解决
[root@ids0001 ~]# vi /etc/elasticsearch/...
通过 docker-compose 快速部署 Hadoop 集群详细教程一、概述
docker-compose 项目是docker官方的开源项目， 负责实现对docker容器集群的快速编排，来轻松高效的管理容器，定义运行多个容器。
通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的，所以一般通过docker-compose部署的应用用于测试、poc环境以及学习等非生产环境场景。生产环境如果需要使...
鉴于国内关于Talend文档使用案例相对较少，对初学者相当不友好，所以本文基于官方文档做出的实际的使用例子，全部流程完美复现。对于初学者请耐心作完，将受益匪浅。
文档是省略版，底部有打包上传的代码，并有详细的说明文档，请实际操作并复现比对
使用界面介绍
案例1 :读取本地源文件并结构化输出
构建movie.csv文件元数据结构信息
在Job design添加一个movie的作业
添加fFileInputDelimited、tLogRow组件到作业里面
添加...
CDH 7.1.4 大数据平台搭建-新手指南
环境介绍
笔记本硬件
软件及版本
环境准备
虚拟系统安装
挂载离线安装ISO文件
安装httpd搭建http服务器
下载CM和CDH安装包
安装createrepo软件
打包CM文件
配置hostname和hosts
hostname
ho...
RabbitMQ集群和高可用配置
概述
RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。
运行模式大概有3种：
单一模式：非集群模式，单台。
普通...
什么是ELK
ELK介绍
通俗来讲ELK是由Elasticsearch、Logstash、Kibana三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称为ELK stack，官方域名为elastic.co ELK stack的主要优点有如下几个：
处理方式灵活：elasticsearch 是实时 全文索引，具有强大的搜索 功能
配置相对简单：elasticsearch全部使用JSON接口logstash使用模块配置kiban...
一、安装部署Kibana插件
Kibana官网下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana
1、介绍
kibana 是您走进 Elastic Stack 的窗口，Kibana 让您能够可视化 Elasticsearch 中的数据并操作Elastic Stack，因此您可以在这里解开任何疑问：例如，为何会在凌晨 2:00 被传呼，雨水会对季度数据造成怎样的影响。
① 一张图片胜过千万行日志...
实战一：通过Logstash收集tomcat服务器的日志
1、配置JDK环境
1、解压JDK包，创建软链接
[root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz
[root@tomcat-web1 src]# ln -sv /usr/local/src/jdk1.8.0_212/ /usr/local/jdk
‘/usr/local/jdk/jdk1.8.0_212’ -> ‘/usr/local...