jmx端口主要用来监控kafka集群的。
在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999"
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9999"
fi
这样在kafka-manager中就不会看到出错信息了。
...
默认安装kafka后有个Kafka MirrorMaker服务，无法启动。
2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker
2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting mirror maker.
从网上搜索相关文章，Mir...
1. kafka监控
kafka自身没有监控管理页面，无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数，实在是很不方便，不过好在在github上开源了一些工具，在kafka的生态系统中也有提及到：
Kafka Manager: 都是以表格的形式展现数据，比较方便用来管理kafka，例如topic的创建、删除以及分区的管理等。
Kafka Offset Monitor: 监控消费者以及所在分区的offset，帮助分析当前的消费以及生产是否顺畅，功能比较...
参考，
https://cwiki.apache.org/confluence/display/KAFKA/System+Tools
https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools
http://kafka.apache.org/documentation.html#quickstart
http://kafka.apache.org/documentation.html#oper...
MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。
MirrorMaker使用方式
启动mirror-maker程序需要一个或多个consumer配置文件、一个producer配置文件是必须的其他参数是可选的。 kafka-run-class.sh kafka.tools.MirrorMaker –consumer.config sourceCluster1...
系统参数
#唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，默认9092 port=9092 #监听地址 host.name=debugo01
# 处理网络请求的最大线程数 num.network.threads=2 # 处理磁盘I/O的线程数 num.io.threads=8 # 一些后台线程数 background.threads = 4 # 等待IO线程处理的请求队列最大数 queued.max.requests = 500
# ...
本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。
一、broker 内部不同数据盘之间进行分区数据迁移
1.1 背景介绍
最近，腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀，导致部分磁盘100%耗尽，而部分磁盘只有40%的消耗量。
分析原因，发现存在部分topic的分区数据过于集中在某些磁盘导致，比如，以下截图显示的/data5 数据盘。...
文章目录
1. linux ssh免密登陆配置
2. java环境配置
3. Hadoop完全分布式(full)
4. Hadoop HDFS高可用集群搭建（HA）
4.1 安装配置zookeeper
4.2 安装配置hadoop HA
4.3 Hadoop HDFS HA集群的启动步骤
5. Hadoop MapReduce、YARN 高可用集群搭建
5.1 修改 mapre...
完整内容请看附近Hadoop3 HA高可用教程.docx第 6 章 Hadoop HA 高可用,zookeeper+hadoop3x.
6.1HA概述
（1）所谓HA（HighAvailablity），即高可用（7*24小时不中断服务）。
（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA
机制：HDFS 的 HA 和 YARN 的 HA。
（3）NameNode主要在以下两个方面影响 HDFS 集群
ØNameNode机...
CDP数据中心版7.0.3是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等.
Cloudera Runtime的主要组件版本如下图所示：...
