主要是记录一下链接
http://hbasefly.com...
目录
HBase phoenix的下载
正文
回到顶部
HBase phoenix的下载
下载地址http://mirror.bit.edu.cn/apache/phoenix/
选择对应的hbase版本进行下载,测试使用的是hbase-1.2.6版本
...
目录
建表高级属性
1、 BLOOMFILTER
2、 VERSIONS
3、 COMPRESSION
4、 TTL
5、 alter
6、 describe/desc
7、 disable_all/enable_all
8、 drop_all
9、 hbase 预分区
表设计
1、列簇设计
2、RowKey 设计
Rowkey 设计三原则
1、...
目录
协处理器—Coprocessor
1、 起源
2、介绍
3、总结
协处理加载方式
1、 静态加载
2、 动态加载
3、 协处理器卸载
案例(二级索引)
正文
回到顶部
协处理器—Coprocessor
1、 起源
Hbase 作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执 行求和、计数、排序等操作。比如,在旧版本的(<...
目录
一、简介
1.1 概述
1.2 消息系统介绍
1.3 点对点消息传递模式
1.4 发布-订阅消息传递模式
二、Kafka的优点
2.1 解耦
2.2 冗余(副本)
2.3 扩展性
2.4 灵活性&峰值处理能力
2.5 可恢复性
2.6 顺序保证
2.7 缓冲
2.8 异步通信
三、常用Message Queue对比
3.1 RabbitMQ...
目录
一、Kafka的架构
二、Topics和Partition
三、Producer消息路由
四、Consumer Group
五、Push vs. Pull
六、Kafka delivery guarantee
正文
回到顶部
一、Kafka的架构
如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafk...
因此Kafka提供两种策略删除旧数据。一是基于时间,二是基于Partition文件大小。例如可以通过配置$KAFKA_HOME/config/server.properties,让Kafka删除一周前的数据,也可在Partition文件超过1GB时删除旧数据,配置如下所示:
# The minimum age of a log file to be eligible for deletion
log.retention.hours=168
# The maximum siz...
目录
一、高可用的由来
1.1 为何需要Replication
1.2 Leader Election
二、Kafka HA设计解析
2.1 如何将所有Replica均匀分布到整个集群
2.2 Data Replication(副本策略)
三、HA相关ZooKeeper结构
3.1 admin
3.2 broker
3.3 controller
四、producer发布消息...
目录
一、下载
二、安装前提(zookeeper安装)
三、安装
2.1 上传解压缩
2.2 修改配置文件
2.3 将kafka的安装包分发到其他节点
2.4 创建软连接
2.5 修改环境变量
三、启动
3.1 首先启动zookeeper集群
3.2 启动Kafka集群服务
3.3 创建的topic
3.4 查看topic副本信息
3.5 查看已经创建的topic信息
3.6 ...
目录
一、Kafka在zookeeper中存储结构图
二、分析
2.1 topic注册信息
2.2 partition状态信息
2.3 Broker注册信息
2.4 Controller epoch
2.5 Controller注册信息
2.6 补充Consumer and Consumer group
2.7 Consumer均衡算法
2.8 Consumer注册信息
2.9 Consumer owner...