MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。
MirrorMaker使用方式
启动mirror-maker程序需要一个或多个consumer配置文件、一个producer配置文件是必须的其他参数是可选的。 kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceCluster1...
系统参数
#唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，默认9092 port=9092 #监听地址 host.name=debugo01
# 处理网络请求的最大线程数 num.network.threads=2 # 处理磁盘I/O的线程数 num.io.threads=8 # 一些后台线程数 background.threads = 4 # 等待IO线程处理的请求队列最大数 queued.max.requests = 500
# ...
本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。
一、broker 内部不同数据盘之间进行分区数据迁移
1.1 背景介绍
最近，腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀，导致部分磁盘100%耗尽，而部分磁盘只有40%的消耗量。
分析原因，发现存在部分topic的分区数据过于集中在某些磁盘导致，比如，以下截图显示的/data5 数据盘。...
切记要关闭防火墙和selinux，cpu核心数至少为2 配置解析
[root@k8s-master ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6...
/
625 次浏览/
容器虚拟化
1，使用kubeadmin init时，提示报错，经查日志有以下报错，Nov 15 11:15:44 k8smaster kubelet[99728]: E1115 11:15:44.924812 99728 pod_workers.go:191] Error syncing pod 3727d6783c46108c76e5b899df77ce70 ("kube-apiserver-k8smaster_kube-system(3727d6783c46108c76e5b89...
/
656 次浏览/
容器虚拟化
实验环境
IP
主机名
192.168.3.101
k8s-master1
192.168.3.102
k8s-master2
192.168.3.103
k8s-master3
192.168.3.104...
/
606 次浏览/
容器虚拟化
一.基础环境准备
1.个节点设置主机名
hostnamectl set-hostname k8s-master1
hostnamectl set-hostname k8s-master2
hostnamectl set-hostname k8s-master3
hostnamectl set-hostname k8s-worker1
hostnamectl set-hostname k8s-worker2
hostnamectl set-hostname k...
/
567 次浏览/
容器虚拟化
文章目录
1. linux ssh免密登陆配置
2. java环境配置
3. Hadoop完全分布式(full)
4. Hadoop HDFS高可用集群搭建（HA）
4.1 安装配置zookeeper
4.2 安装配置hadoop HA
4.3 Hadoop HDFS HA集群的启动步骤
5. Hadoop MapReduce、YARN 高可用集群搭建
5.1 修改 mapre...
完整内容请看附近Hadoop3 HA高可用教程.docx第 6 章 Hadoop HA 高可用,zookeeper+hadoop3x.
6.1HA概述
（1）所谓HA（HighAvailablity），即高可用（7*24小时不中断服务）。
（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA
机制：HDFS 的 HA 和 YARN 的 HA。
（3）NameNode主要在以下两个方面影响 HDFS 集群
ØNameNode机...
CDP数据中心版7.0.3是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等.
Cloudera Runtime的主要组件版本如下图所示：...