目录
一、简介
1.1 概述
1.2 消息系统介绍
1.3 点对点消息传递模式
1.4 发布-订阅消息传递模式
二、Kafka的优点
2.1 解耦
2.2 冗余（副本）
2.3 扩展性
2.4 灵活性&峰值处理能力
2.5 可恢复性
2.6 顺序保证
2.7 缓冲
2.8 异步通信
三、常用Message Queue对比
3.1 RabbitMQ...
目录
一、Kafka的架构
二、Topics和Partition
三、Producer消息路由
四、Consumer Group
五、Push vs. Pull
六、Kafka delivery guarantee
正文
回到顶部
一、Kafka的架构
如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafk...
因此Kafka提供两种策略删除旧数据。一是基于时间，二是基于Partition文件大小。例如可以通过配置$KAFKA_HOME/config/server.properties，让Kafka删除一周前的数据，也可在Partition文件超过1GB时删除旧数据，配置如下所示：
# The minimum age of a log file to be eligible for deletion
log.retention.hours=168
# The maximum siz...
目录
一、高可用的由来
1.1 为何需要Replication
1.2 Leader Election
二、Kafka HA设计解析
2.1 如何将所有Replica均匀分布到整个集群
2.2 Data Replication（副本策略）
三、HA相关ZooKeeper结构
3.1 admin
3.2 broker
3.3 controller
四、producer发布消息...
目录
一、下载
二、安装前提（zookeeper安装）
三、安装
2.1 上传解压缩
2.2 修改配置文件
2.3 将kafka的安装包分发到其他节点
2.4 创建软连接
2.5 修改环境变量
三、启动
3.1 首先启动zookeeper集群
3.2 启动Kafka集群服务
3.3 创建的topic
3.4 查看topic副本信息
3.5 查看已经创建的topic信息
3.6 ...
目录
一、Kafka在zookeeper中存储结构图
二、分析
2.1 topic注册信息
2.2 partition状态信息
2.3 Broker注册信息
2.4 Controller epoch
2.5 Controller注册信息
2.6 补充Consumer and Consumer group
2.7 Consumer均衡算法
2.8 Consumer注册信息
2.9 Consumer owner...
jmx端口主要用来监控kafka集群的。
在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999"
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9999"
fi
这样在kafka-manager中就不会看到出错信息了。
...
默认安装kafka后有个Kafka MirrorMaker服务，无法启动。
2016-08-05 15:20:50,333 INFO kafka.tools.MirrorMaker$: Starting mirror maker
2016-08-05 15:20:50,356 ERROR kafka.tools.MirrorMaker$: Exception when starting mirror maker.
从网上搜索相关文章，Mir...
1. kafka监控
kafka自身没有监控管理页面，无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数，实在是很不方便，不过好在在github上开源了一些工具，在kafka的生态系统中也有提及到：
Kafka Manager: 都是以表格的形式展现数据，比较方便用来管理kafka，例如topic的创建、删除以及分区的管理等。
Kafka Offset Monitor: 监控消费者以及所在分区的offset，帮助分析当前的消费以及生产是否顺畅，功能比较...
参考，
https://cwiki.apache.org/confluence/display/KAFKA/System+Tools
https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools
http://kafka.apache.org/documentation.html#quickstart
http://kafka.apache.org/documentation.html#oper...
